運用深度強化學習進行積層製造之刀具路徑設計

1. 緒論

本研究針對金屬積層製造中的一個關鍵瓶頸：刀具路徑的優化。對於刀具路徑策略的高維度設計空間，傳統的試誤法效率低下。作者提出了一個新穎的典範轉移，將刀具路徑設計框架為一個強化學習問題。一個人工智慧代理透過與模擬或真實的積層製造環境動態互動來學習最佳策略，旨在最大化與建構品質和特性相關的長期獎勵。

2. 背景與動機

2.1. 積層製造中的刀具路徑設計挑戰

雖然如雷射功率等製程參數已被深入研究，但刀具路徑策略對最終零件特性（機械強度、殘餘應力、微觀結構）的影響顯著，卻未被系統性地優化。先前的研究（例如，Steuben 等人，2016；Akram 等人，2018；Bhardwaj 和 Shukla，2018）展示了路徑模式（單向、雙向）與結果之間的明確關聯，但缺乏一個通用、自動化的設計框架。

2.2. 強化學習基礎

強化學習是一種機器學習典範，其中代理透過在環境中執行動作以最大化累積獎勵來學習決策。核心組件為：狀態 ($s_t$)（環境觀測）、動作 ($a_t$)（代理的決策）、策略 ($\pi(a|s)$)（將狀態映射到動作的策略）以及獎勵 ($r_t$)（回饋訊號）。

3. 用於刀具路徑設計的強化學習框架提案

3.1. 將問題建模為馬可夫決策過程

刀具路徑設計過程被建模為一個馬可夫決策過程。「狀態」可以是部分建構層的當前幾何形狀或熱歷史。「動作」是選擇下一個刀具路徑段的方向和參數。「獎勵」是期望結果的函數，例如最小化殘餘應力或達到目標密度。

3.2. 探討的強化學習演算法

本文針對此任務探討了三類主要的無模型強化學習演算法：

1. 策略優化方法： 直接參數化並優化策略 $\pi_\theta(a|s)$。可能面臨高樣本複雜度的問題。
2. 基於價值的方法： 學習一個價值函數 $Q(s,a)$ 或 $V(s)$ 來估計未來獎勵（例如，DQN）。
3. 演員-評論家方法： 混合方法，同時學習一個策略（演員）和一個價值函數（評論家），通常能提供更好的穩定性和效率。

3.3. 獎勵結構：密集式與稀疏式

一個關鍵貢獻是對獎勵設計的分析。密集式獎勵提供頻繁的回饋（例如，在每個刀具路徑段之後），能更有效地引導學習，但需要仔細設計。稀疏式獎勵（例如，僅在層結束時給予）定義較簡單，但會使學習變得顯著困難。本文發現密集式獎勵結構能帶來更優異的代理效能。

4. 技術細節與方法論

4.1. 狀態與動作表示法

狀態空間必須封裝對決策至關重要的資訊，例如表示當前層沉積狀態的二維網格（0 表示未填充，1 表示已填充）或從熱模擬中提取的特徵。動作空間可以是離散的（例如，在網格內向北、南、東、西移動）或連續的（方向向量）。

4.2. 數學公式

代理的目標是最大化預期累積折扣獎勵，或稱回報 $G_t$： $$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$ 其中 $\gamma \in [0, 1]$ 是折扣因子。策略 $\pi_\theta$ 通常是一個神經網路，其參數 $\theta$ 使用對預期回報 $J(\theta)$ 的梯度上升法進行更新： $$\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[\nabla_\theta \log \pi_\theta(\tau) G(\tau)]$$ 其中 $\tau$ 是一個軌跡（狀態和動作的序列）。

5. 實驗結果與分析

5.1. 效能指標

效能評估基於代理的以下能力：

• 最大化定義的獎勵函數（例如，與建構品質相關）。
• 為目標幾何形狀生成完整、連續的刀具路徑。
• 展現樣本效率（獎勵與訓練回合數的關係）。

5.2. 主要發現

• 可行性得到證實： 強化學習框架成功學習了針對任意零件幾何形狀的非平凡刀具路徑策略。
• 獎勵設計至關重要： 密集式獎勵結構對於實際學習至關重要，克服了稀疏式獎勵設定中固有的探索挑戰。
• 演算法比較： 雖然三類強化學習演算法都顯示出潛力，但對於這種連續或高維度離散動作空間，演員-評論家方法（如 PPO 或 SAC）可能在穩定性和樣本效率之間提供了最佳的權衡，儘管預印本的細節有限。

6. 分析框架與案例範例

框架應用（非程式碼範例）： 考慮為一個簡單的矩形層設計刀具路徑以最小化熱應力。強化學習框架將按以下方式運作：

1. 狀態： 一個表示矩形中哪些網格單元已被填充的矩陣。初始狀態全為零。
2. 動作： 選擇下一個要填充的單元格以及從當前沉積點出發的移動方向。
3. 獎勵（密集式）： 填充一個新單元格得 +1，移動到非相鄰單元格得 -0.1（促進連續性），完成一行而沒有長距離跳躍得 +10，如果模擬的熱梯度超過閾值則得 -5（懲罰應力）。
4. 訓練： 代理探索數百萬個這樣的序列。透過試誤，它發現局部區域內的「蜿蜒」或「之字形」模式（類似於麻省理工學院關於體素級控制的研究中的策略）通常能產生最高的累積獎勵，從而有效地學習到一個最小化應力的策略。

7. 未來應用與研究方向

• 多目標優化： 擴展獎勵函數，以同時優化相互衝突的目標，如速度、強度、表面光潔度和殘餘應力。
• 與高保真模擬器整合： 將強化學習代理與多物理場模擬工具（例如，熱流體模型）耦合，以獲得更準確的獎勵訊號，朝著為積層製造製程優化建立數位孿生的方向邁進。
• 遷移學習與元學習： 在零件幾何形狀庫上訓練一個通用代理，使其能夠快速適應新的、未見過的形狀，從而大幅減少客製化零件的設定時間。
• 即時適應性控制： 使用原位監測數據（例如，熔池成像）作為狀態表示的一部分，允許代理動態調整刀具路徑以應對製程異常。

8. 參考文獻

1. Mozaffar, M., Ebrahimi, A., & Cao, J. (2020). Toolpath Design for Additive Manufacturing Using Deep Reinforcement Learning. arXiv preprint arXiv:2009.14365.
2. Steuben, J. C., et al. (2016). Toolpath optimization for additive manufacturing processes. Proceedings of the ASME 2016 International Design Engineering Technical Conferences and Computers and Information in Engineering Conference.
3. Akram, J., et al. (2018). A methodology for predicting microstructure from thermal history in additive manufacturing. Proceedings of the 29th Annual International Solid Freeform Fabrication Symposium.
4. Bhardwaj, T., & Shukla, M. (2018). Effect of toolpath strategy on the properties of DMLS parts. Rapid Prototyping Journal.
5. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). The MIT Press.
6. Liu, C., et al. (2020). Intelligent additive manufacturing and design: state of the art and future perspectives. Additive Manufacturing, 101091.

9. 專家分析與評論