基于深度强化学习的增材制造刀具路径设计

1. 引言

本研究旨在解决金属增材制造中的一个关键瓶颈：刀具路径的优化。对于刀具路径策略的高维设计空间，传统的试错方法效率低下。作者提出了一种新颖的范式转变，将刀具路径设计构建为一个强化学习问题。一个智能体通过与模拟或真实的增材制造环境动态交互来学习最优策略，旨在最大化与构建质量和性能相关的长期奖励。

2. 背景与动机

2.1. 增材制造中的刀具路径设计挑战

虽然像激光功率这样的工艺参数已被深入研究，但刀具路径策略对最终零件性能（机械强度、残余应力、微观结构）的影响显著，却未被系统性地优化。先前的研究（例如，Steuben 等人，2016；Akram 等人，2018；Bhardwaj 和 Shukla，2018）证明了路径模式（单向、双向）与结果之间存在明确关联，但缺乏一个通用的、自动化的设计框架。

2.2. 强化学习基础

强化学习是一种机器学习范式，智能体通过在环境中执行动作来学习决策，以最大化累积奖励。其核心组成部分包括：状态 ($s_t$)（环境观测）、动作 ($a_t$)（智能体的决策）、策略 ($\pi(a|s)$)（将状态映射到动作的策略）和奖励 ($r_t$)（反馈信号）。

3. 用于刀具路径设计的强化学习框架

3.1. 问题建模为马尔可夫决策过程

刀具路径设计过程被建模为一个马尔可夫决策过程。“状态”可以是当前部分构建层的几何形状或热历史。“动作”是选择下一个刀具路径段的方向和参数。“奖励”是期望结果（如最小化残余应力或达到目标密度）的函数。

3.2. 研究的强化学习算法

本文研究了三种主要的无模型强化学习算法用于此任务：

1. 策略优化方法： 直接参数化并优化策略 $\pi_\theta(a|s)$。可能存在样本复杂度高的问题。
2. 基于价值的方法： 学习价值函数 $Q(s,a)$ 或 $V(s)$ 来估计未来奖励（例如，DQN）。
3. 演员-评论家方法： 混合方法，同时学习策略（演员）和价值函数（评论家），通常能提供更好的稳定性和效率。

3.3. 奖励结构：密集与稀疏

一个关键贡献是对奖励设计的分析。密集奖励提供频繁的反馈（例如，在每个刀具路径段之后），能更有效地指导学习，但需要精心设计。稀疏奖励（例如，仅在一层结束时提供）定义更简单，但会使学习变得异常困难。本文发现，密集奖励结构能带来更优的智能体性能。

4. 技术细节与方法论

4.1. 状态与动作表示

状态空间必须封装对决策至关重要的信息，例如表示当前层沉积状态的二维网格（0 表示未填充，1 表示已填充）或从热模拟中提取的特征。动作空间可以是离散的（例如，在网格内向北、南、东、西移动）或连续的（方向向量）。

4.2. 数学公式

智能体的目标是最大化期望累积折扣奖励，即回报 $G_t$： $$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$ 其中 $\gamma \in [0, 1]$ 是折扣因子。策略 $\pi_\theta$ 通常是一个神经网络，其参数 $\theta$ 通过关于期望回报 $J(\theta)$ 的梯度上升进行更新： $$\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[\nabla_\theta \log \pi_\theta(\tau) G(\tau)]$$ 其中 $\tau$ 是一条轨迹（状态和动作的序列）。

5. 实验结果与分析

5.1. 性能指标

性能评估基于智能体的以下能力：

• 最大化定义的奖励函数（例如，与构建质量相关）。
• 为目标几何形状生成完整、连续的刀具路径。
• 展示样本效率（奖励与训练回合数的关系）。

5.2. 主要发现

• 可行性得到验证： 该强化学习框架成功地为任意零件几何形状学习了非平凡的刀具路径策略。
• 奖励设计至关重要： 密集奖励结构对于实际学习至关重要，克服了稀疏奖励设置中固有的探索挑战。
• 算法比较： 虽然所有三种强化学习类别都显示出潜力，但对于这种连续或高维离散动作空间，演员-评论家方法（如 PPO 或 SAC）可能在稳定性和样本效率之间提供了最佳权衡，尽管预印本中的细节有限。

6. 分析框架与案例示例

框架应用（非代码示例）： 考虑为一个简单的矩形层设计刀具路径以最小化热应力。强化学习框架将按如下方式运行：

1. 状态： 一个表示矩形中哪些网格单元已被填充的矩阵。初始状态全为零。
2. 动作： 选择下一个要填充的单元以及从当前沉积点出发的移动方向。
3. 奖励（密集）： 填充一个新单元 +1，移动到非相邻单元 -0.1（促进连续性），完成一行且无长距离跳跃 +10，如果模拟热梯度超过阈值则 -5（惩罚应力）。
4. 训练： 智能体探索数百万个这样的序列。通过试错，它发现在局部区域内采用“蜿蜒”或“之字形”模式（类似于麻省理工学院关于体素级控制的研究中的策略）通常能产生最高的累积奖励，从而有效地学习到一种应力最小化策略。

7. 未来应用与研究展望

• 多目标优化： 扩展奖励函数，以同时优化相互冲突的目标，如速度、强度、表面光洁度和残余应力。
• 与高保真模拟器集成： 将强化学习智能体与多物理场仿真工具（例如，热流体模型）耦合，以获得更准确的奖励信号，朝着增材制造工艺优化的数字孪生迈进。
• 迁移学习与元学习： 在零件几何形状库上训练一个通用智能体，使其能够快速适应新的、未见过的形状，从而大幅减少定制零件的设置时间。
• 实时自适应控制： 使用原位监测数据（例如，熔池成像）作为状态表示的一部分，允许智能体动态调整刀具路径以响应工艺异常。

8. 参考文献

1. Mozaffar, M., Ebrahimi, A., & Cao, J. (2020). Toolpath Design for Additive Manufacturing Using Deep Reinforcement Learning. arXiv preprint arXiv:2009.14365.
2. Steuben, J. C., et al. (2016). Toolpath optimization for additive manufacturing processes. Proceedings of the ASME 2016 International Design Engineering Technical Conferences and Computers and Information in Engineering Conference.
3. Akram, J., et al. (2018). A methodology for predicting microstructure from thermal history in additive manufacturing. Proceedings of the 29th Annual International Solid Freeform Fabrication Symposium.
4. Bhardwaj, T., & Shukla, M. (2018). Effect of toolpath strategy on the properties of DMLS parts. Rapid Prototyping Journal.
5. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). The MIT Press.
6. Liu, C., et al. (2020). Intelligent additive manufacturing and design: state of the art and future perspectives. Additive Manufacturing, 101091.

9. 专家分析与评论