طراحی مسیر ابزار برای ساخت افزایشی با استفاده از یادگیری تقویتی عمیق

1. مقدمه

این پژوهش به یک گلوگاه حیاتی در ساخت افزایشی فلزی می‌پردازد: بهینه‌سازی مسیرهای ابزار. رویکردهای سنتی آزمون و خطا برای فضای طراحی با ابعاد بالا در راهبردهای مسیر ابزار ناکارآمد هستند. نویسندگان یک تغییر پارادایم نوآورانه پیشنهاد می‌دهند و طراحی مسیر ابزار را به‌عنوان یک مسئله یادگیری تقویتی فرمول‌بندی می‌کنند. یک عامل هوش مصنوعی با تعامل پویا با یک محیط ساخت افزایشی شبیه‌سازی‌شده یا واقعی، راهبردهای بهینه را می‌آموزد و هدف آن بیشینه‌سازی پاداش‌های بلندمدت مرتبط با کیفیت و خواص قطعه ساخته‌شده است.

2. پیشینه و انگیزه

2.1. چالش طراحی مسیر ابزار در ساخت افزایشی

در حالی که پارامترهای فرآیندی مانند توان لیزر به خوبی مطالعه شده‌اند، تأثیر راهبرد مسیر ابزار بر خواص نهایی قطعه (استحکام مکانیکی، تنش پسماند، ریزساختار) قابل توجه است اما به صورت سیستماتیک بهینه‌سازی نشده است. پژوهش‌های پیشین (مانند Steuben و همکاران، 2016؛ Akram و همکاران، 2018؛ Bhardwaj و Shukla، 2018) همبستگی‌های واضحی بین الگوها (یک‌طرفه، دوطرفه) و نتایج نشان می‌دهند، اما فاقد یک چارچوب طراحی خودکار و عمومی هستند.

2.2. مبانی یادگیری تقویتی

یادگیری تقویتی یک پارادایم یادگیری ماشین است که در آن یک عامل با انجام اقدامات در یک محیط، تصمیم‌گیری را می‌آموزد تا پاداش تجمعی را بیشینه کند. اجزای اصلی آن عبارتند از: حالت ($s_t$) (مشاهده محیط)، عمل ($a_t$) (تصمیم عامل)، سیاست ($\pi(a|s)$) (راهبرد نگاشت حالت‌ها به عمل‌ها) و پاداش ($r_t$) (سیگنال بازخورد).

3. چارچوب یادگیری تقویتی پیشنهادی برای طراحی مسیر ابزار

3.1. فرمول‌بندی مسئله به‌عنوان یک فرآیند تصمیم‌گیری مارکوف

فرآیند طراحی مسیر ابزار به‌عنوان یک فرآیند تصمیم‌گیری مارکوف مدل‌سازی شده است. "حالت" می‌تواند هندسه فعلی لایه نیمه‌ساخته یا تاریخچه حرارتی باشد. "عمل"، انتخاب جهت و پارامترهای قطعه بعدی مسیر ابزار است. "پاداش" تابعی از نتایج مطلوب مانند کمینه‌سازی تنش پسماند یا دستیابی به چگالی هدف است.

3.2. الگوریتم‌های یادگیری تقویتی مورد بررسی

این مقاله سه دسته برجسته از الگوریتم‌های یادگیری تقویتی بدون مدل را برای این وظیفه بررسی می‌کند:

1. روش‌های بهینه‌سازی سیاست: مستقیماً سیاست $\pi_\theta(a|s)$ را پارامتریزه و بهینه می‌کنند. ممکن است از پیچیدگی نمونه‌گیری بالایی رنج ببرند.
2. روش‌های مبتنی بر ارزش: یک تابع ارزش $Q(s,a)$ یا $V(s)$ را برای تخمین پاداش‌های آینده می‌آموزند (مانند DQN).
3. روش‌های بازیگر-منتقد: رویکردهای ترکیبی که هم یک سیاست (بازیگر) و هم یک تابع ارزش (منتقد) را می‌آموزند و اغلب پایداری و کارایی بهتری ارائه می‌دهند.

3.3. ساختار پاداش: متراکم در مقابل پراکنده

یک مشارکت کلیدی، تحلیل طراحی پاداش است. پاداش‌های متراکم بازخورد مکرر ارائه می‌دهند (مثلاً پس از هر قطعه مسیر ابزار) و یادگیری را مؤثرتر هدایت می‌کنند اما نیازمند شکل‌دهی دقیق هستند. پاداش‌های پراکنده (مثلاً فقط در پایان یک لایه) تعریف ساده‌تری دارند اما یادگیری را به‌طور قابل توجهی دشوارتر می‌کنند. این مقاله نشان می‌دهد که ساختارهای پاداش متراکم منجر به عملکرد برتر عامل می‌شوند.

4. جزئیات فنی و روش‌شناسی

4.1. نمایش حالت و عمل

فضای حالت باید اطلاعات حیاتی برای تصمیم‌گیری را در بر گیرد، مانند یک شبکه دوبعدی که وضعیت رسوب‌گذاری لایه جاری را نشان می‌دهد (0 برای پرنشده، 1 برای پرشده) یا ویژگی‌های استخراج‌شده از شبیه‌سازی حرارتی. فضای عمل می‌تواند گسسته (مانند حرکت به شمال، جنوب، شرق، غرب درون شبکه) یا پیوسته (بردار جهت) باشد.

4.2. فرمول‌بندی ریاضی

هدف عامل، بیشینه‌سازی پاداش تجمعی تنزیل‌شده مورد انتظار یا بازده $G_t$ است: $$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$ که در آن $\gamma \in [0, 1]$ عامل تنزیل است. سیاست $\pi_\theta$ معمولاً یک شبکه عصبی است که پارامترهای $\theta$ آن با استفاده از صعود گرادیان روی بازده مورد انتظار $J(\theta)$ به‌روز می‌شود: $$\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[\nabla_\theta \log \pi_\theta(\tau) G(\tau)]$$ که در آن $\tau$ یک مسیر (دنباله‌ای از حالت‌ها و عمل‌ها) است.

5. نتایج تجربی و تحلیل

5.1. معیارهای عملکرد

عملکرد بر اساس توانایی عامل در موارد زیر ارزیابی شد:

• بیشینه‌سازی تابع پاداش تعریف‌شده (مانند مرتبط با کیفیت ساخت).
• تولید مسیرهای ابزار کامل و پیوسته برای هندسه‌های هدف.
• نشان دادن کارایی نمونه‌گیری (پاداش در مقابل تعداد دوره‌های آموزشی).

5.2. یافته‌های کلیدی

• امکان‌سنجی اثبات شد: چارچوب یادگیری تقویتی با موفقیت راهبردهای مسیر ابزار غیربدیهی را برای هندسه‌های قطعه دلخواه آموخت.
• طراحی پاداش حیاتی است: ساختارهای پاداش متراکم برای یادگیری عملی ضروری بودند و بر چالش اکتشاف ذاتی در تنظیمات پاداش پراکنده غلبه کردند.
• مقایسه الگوریتم‌ها: در حالی که هر سه دسته یادگیری تقویتی امیدوارکننده بودند، روش‌های بازیگر-منتقد (مانند PPO یا SAC) احتمالاً بهترین موازنه بین پایداری و کارایی نمونه‌گیری را برای این فضای عمل پیوسته یا گسسته با ابعاد بالا ارائه دادند، اگرچه جزئیات پیش‌چاپ محدود است.

6. چارچوب تحلیل و مثال موردی

کاربرد چارچوب (مثال غیرکدی): طراحی یک مسیر ابزار برای یک لایه مستطیلی ساده به منظور کمینه‌سازی تنش حرارتی را در نظر بگیرید. چارچوب یادگیری تقویتی به شرح زیر عمل می‌کند:

1. حالت: یک ماتریس که نشان می‌دهد کدام سلول‌های شبکه در مستطیل پر شده‌اند. حالت اولیه همه صفر است.
2. عمل: انتخاب سلول بعدی برای پر کردن و جهت حرکت از نقطه رسوب‌گذاری جاری.
3. پاداش (متراکم): +1 برای پر کردن یک سلول جدید، -0.1 برای حرکت به یک سلول غیرمجاور (ترویج پیوستگی)، +10 برای تکمیل یک ردیف بدون پرش‌های طولانی، -5 اگر گرادیان حرارتی شبیه‌سازی‌شده از یک آستانه فراتر رود (جریمه تنش).
4. آموزش: عامل میلیون‌ها از این دنباله‌ها را کاوش می‌کند. از طریق آزمون و خطا، کشف می‌کند که یک الگوی "پیچ و خم" یا "زیگ‌زاگ" درون نواحی موضعی (شبیه به راهبردهای موجود در پژوهش MIT در مورد کنترل در سطح وکسل) اغلب بالاترین پاداش تجمعی را به دست می‌دهد و به طور مؤثری یک سیاست کمینه‌کننده تنش را می‌آموزد.

7. کاربردهای آینده و جهت‌های پژوهشی

• بهینه‌سازی چندهدفه: گسترش تابع پاداش برای بهینه‌سازی همزمان اهداف متضاد مانند سرعت، استحکام، پرداخت سطح و تنش پسماند.
• ادغام با شبیه‌سازهای با وفاداری بالا: اتصال عامل یادگیری تقویتی با ابزارهای شبیه‌سازی چندفیزیکی (مانند مدل‌های حرارتی-سیالی) برای سیگنال‌های پاداش دقیق‌تر، حرکت به سمت یک دوقلوی دیجیتال برای بهینه‌سازی فرآیند ساخت افزایشی.
• یادگیری انتقالی و فرا‌یادگیری: آموزش یک عامل عمومی روی کتابخانه‌ای از هندسه‌های قطعه که بتواند به سرعت به شکل‌های جدید و نادیده تطبیق یابد و زمان راه‌اندازی برای قطعات سفارشی را به شدت کاهش دهد.
• کنترل انطباقی بلادرنگ: استفاده از داده‌های نظارتی درون‌موقعیتی (مانند تصویربرداری حوضچه مذاب) به‌عنوان بخشی از نمایش حالت، که به عامل اجازه می‌دهد مسیر ابزار را به‌طور پویا در پاسخ به ناهنجاری‌های فرآیند تنظیم کند.

8. مراجع

1. Mozaffar, M., Ebrahimi, A., & Cao, J. (2020). Toolpath Design for Additive Manufacturing Using Deep Reinforcement Learning. arXiv preprint arXiv:2009.14365.
2. Steuben, J. C., et al. (2016). Toolpath optimization for additive manufacturing processes. Proceedings of the ASME 2016 International Design Engineering Technical Conferences and Computers and Information in Engineering Conference.
3. Akram, J., et al. (2018). A methodology for predicting microstructure from thermal history in additive manufacturing. Proceedings of the 29th Annual International Solid Freeform Fabrication Symposium.
4. Bhardwaj, T., & Shukla, M. (2018). Effect of toolpath strategy on the properties of DMLS parts. Rapid Prototyping Journal.
5. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). The MIT Press.
6. Liu, C., et al. (2020). Intelligent additive manufacturing and design: state of the art and future perspectives. Additive Manufacturing, 101091.

9. تحلیل و تفسیر کارشناسی