Derin Pekiştirmeli Öğrenme Kullanarak Eklemeli İmalat için Takım Yolu Tasarımı

1. Giriş

Bu çalışma, metal bazlı Eklemeli İmalat'ta (Eİ) kritik bir darboğazı ele alıyor: takım yollarının optimizasyonu. Geleneksel deneme-yanılma yaklaşımları, takım yolu stratejilerinin yüksek boyutlu tasarım uzayı için verimsizdir. Yazarlar, takım yolu tasarımını bir Pekiştirmeli Öğrenme (PK) problemi olarak çerçeveleyen yeni bir paradigma değişimi önermektedir. Bir yapay zekâ ajanı, simüle edilmiş veya gerçek bir Eİ ortamıyla dinamik olarak etkileşime girerek, yapı kalitesi ve özellikleriyle ilgili uzun vadeli ödülleri en üst düzeye çıkarmayı amaçlayan optimal stratejiler öğrenir.

2. Arka Plan & Motivasyon

2.1. Eİ'de Takım Yolu Tasarımı Zorluğu

Lazer gücü gibi işlem parametreleri iyi çalışılmış olsa da, takım yolu stratejisinin nihai parça özellikleri (mekanik mukavemet, artık gerilme, mikroyapı) üzerindeki etkisi önemlidir ancak sistematik olarak optimize edilmemiştir. Önceki araştırmalar (örn., Steuben ve diğerleri, 2016; Akram ve diğerleri, 2018; Bhardwaj ve Shukla, 2018), desenler (tek yönlü, çift yönlü) ve sonuçlar arasında açık korelasyonlar göstermekte ancak genel, otomatik bir tasarım çerçevesinden yoksundur.

2.2. Pekiştirmeli Öğrenmenin Temelleri

PK, bir ajanın kümülatif ödülü en üst düzeye çıkarmak için bir ortamda eylemler gerçekleştirerek karar vermeyi öğrendiği bir makine öğrenimi paradigmasıdır. Temel bileşenler şunlardır: Durum ($s_t$) (ortam gözlemi), Eylem ($a_t$) (ajanın kararı), Politika ($\pi(a|s)$) (durumları eylemlere eşleyen strateji) ve Ödül ($r_t$) (geri bildirim sinyali).

3. Takım Yolu Tasarımı için Önerilen PK Çerçevesi

3.1. Bir MDP Olarak Problem Formülasyonu

Takım yolu tasarım süreci bir Markov Karar Süreci (MDP) olarak modellenmiştir. "Durum", kısmen oluşturulmuş katmanın mevcut geometrisi veya termal geçmiş olabilir. "Eylem", bir sonraki takım yolu segmenti yönünün ve parametrelerinin seçimidir. "Ödül", artık gerilimi en aza indirmek veya hedef yoğunluğa ulaşmak gibi istenen sonuçların bir fonksiyonudur.

3.2. İncelenen PK Algoritmaları

Makale, bu görev için modelden bağımsız üç önemli PK algoritması sınıfını inceliyor:

1. Politika Optimizasyon Yöntemleri: Politikayı $\pi_\theta(a|s)$ doğrudan parametrelendirir ve optimize eder. Yüksek örnek karmaşıklığından muzdarip olabilir.
2. Değer Tabanlı Yöntemler: Gelecekteki ödülleri tahmin etmek için bir değer fonksiyonu $Q(s,a)$ veya $V(s)$ öğrenir (örn., DQN).
3. Aktör-Eleştirmen Yöntemleri: Hem bir politika (aktör) hem de bir değer fonksiyonu (eleştirmen) öğrenen hibrit yaklaşımlar, genellikle daha iyi kararlılık ve verimlilik sunar.

3.3. Ödül Yapısı: Yoğun vs. Seyrek

Önemli bir katkı, ödül tasarımının analizidir. Yoğun ödüller sık geri bildirim sağlar (örn., her takım yolu segmentinden sonra), öğrenmeyi daha etkili bir şekilde yönlendirir ancak dikkatli şekillendirme gerektirir. Seyrek ödüller (örn., yalnızca bir katmanın sonunda) tanımlaması daha basittir ancak öğrenmeyi önemli ölçüde zorlaştırır. Makale, yoğun ödül yapılarının üstün ajan performansına yol açtığını bulmuştur.

4. Teknik Detaylar & Metodoloji

4.1. Durum ve Eylem Temsili

Durum uzayı, karar verme için kritik olan bilgileri kapsamalıdır; örneğin mevcut katmanın birikim durumunu temsil eden (doldurulmamış için 0, doldurulmuş için 1) 2B bir ızgara veya termal simülasyondan türetilen özellikler. Eylem uzayı ayrık (örn., ızgara içinde Kuzey, Güney, Doğu, Batı'ya hareket) veya sürekli (yön vektörü) olabilir.

4.2. Matematiksel Formülasyon

Ajanın amacı, beklenen kümülatif indirimli ödülü veya getiriyi $G_t$'yi en üst düzeye çıkarmaktır: $$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$ burada $\gamma \in [0, 1]$ indirim faktörüdür. Politika $\pi_\theta$ tipik olarak, parametreleri $\theta$ olan ve beklenen getiri $J(\theta)$ üzerinde gradyan yükselme kullanılarak güncellenen bir sinir ağıdır: $$\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[\nabla_\theta \log \pi_\theta(\tau) G(\tau)]$$ burada $\tau$ bir yörüngedir (durum ve eylemler dizisi).

5. Deneysel Sonuçlar & Analiz

5.1. Performans Metrikleri

Performans, ajanın aşağıdaki yeteneklerine göre değerlendirilmiştir:

• Tanımlanan ödül fonksiyonunu (örn., yapı kalitesiyle ilgili) en üst düzeye çıkarmak.
• Hedef geometriler için tam, bitişik takım yolları oluşturmak.
• Örnek verimliliğini göstermek (ödül vs. eğitim bölümü sayısı).

5.2. Temel Bulgular

• Uygulanabilirlik Kanıtlandı: PK çerçevesi, keyfi parça geometrileri için önemsiz olmayan takım yolu stratejilerini başarıyla öğrendi.
• Ödül Tasarımı Kritiktir: Yoğun ödül yapıları, seyrek ödül ortamlarında doğal olarak bulunan keşif zorluğunun üstesinden gelmek için pratik öğrenme için gerekliydi.
• Algoritma Karşılaştırması: Her üç PK sınıfı da umut vaat etse de, aktör-eleştirmen yöntemlerinin (PPO veya SAC gibi) bu sürekli veya yüksek boyutlu ayrık eylem uzayı için kararlılık ve örnek verimliliği arasında muhtemelen en iyi dengeyi sunduğu düşünülmektedir, ancak ön baskının detayları sınırlıdır.

6. Analiz Çerçevesi & Vaka Örneği

Çerçeve Uygulaması (Kod Olmayan Örnek): Termal stresi en aza indirmek için basit bir dikdörtgen katman için takım yolu tasarlamayı düşünün. PK çerçevesi şu şekilde çalışacaktır:

1. Durum: Dikdörtgendeki hangi ızgara hücrelerinin doldurulduğunu temsil eden bir matris. Başlangıç durumu tamamen sıfırdır.
2. Eylem: Doldurulacak bir sonraki hücreyi ve mevcut birikim noktasından hareket yönünü seçmek.
3. Ödül (Yoğun): Yeni bir hücre doldurmak için +1, bitişik olmayan bir hücreye hareket etmek için -0.1 (sürekliliği teşvik eder), uzun atlamalar olmadan bir satırı tamamlamak için +10, simüle edilen termal gradyan bir eşiği aşarsa -5 (stresi cezalandırır).
4. Eğitim: Ajan milyonlarca böyle dizi keşfeder. Deneme yanılma yoluyla, yerelleştirilmiş bölgeler içinde bir "dolambaçlı" veya "zikzak" deseninin (MIT'in voksel seviyesinde kontrol araştırmasındaki stratejilere benzer şekilde) genellikle en yüksek kümülatif ödülü sağladığını keşfeder, böylece stresi en aza indiren bir politika öğrenir.

7. Gelecekteki Uygulamalar & Araştırma Yönleri

• Çok Amaçlı Optimizasyon: Ödül fonksiyonunu, hız, mukavemet, yüzey kalitesi ve artık gerilme gibi çelişen hedefleri aynı anda optimize etmek için genişletmek.
• Yüksek Doğruluklu Simülatörlerle Entegrasyon: PK ajanını çoklu fizik simülasyon araçlarıyla (örn., termal-akışkan modelleri) birleştirerek daha doğru ödül sinyalleri elde etmek ve Eİ süreç optimizasyonu için bir dijital ikize doğru ilerlemek.
• Transfer Öğrenme & Meta-Öğrenme: Parça geometrileri kütüphanesi üzerinde genel bir ajan eğitmek, böylece yeni, görülmemiş şekillere hızla uyum sağlayabilmesi, özel parçalar için kurulum süresini büyük ölçüde azaltmak.
• Gerçek Zamanlı Uyarlanabilir Kontrol: Durum temsilinin bir parçası olarak yerinde izleme verilerini (örn., erime havuzu görüntüleme) kullanmak, ajanın işlem anormalliklerine yanıt olarak takım yolunu dinamik olarak ayarlamasına izin vermek.

8. Kaynaklar

1. Mozaffar, M., Ebrahimi, A., & Cao, J. (2020). Toolpath Design for Additive Manufacturing Using Deep Reinforcement Learning. arXiv preprint arXiv:2009.14365.
2. Steuben, J. C., et al. (2016). Toolpath optimization for additive manufacturing processes. Proceedings of the ASME 2016 International Design Engineering Technical Conferences and Computers and Information in Engineering Conference.
3. Akram, J., et al. (2018). A methodology for predicting microstructure from thermal history in additive manufacturing. Proceedings of the 29th Annual International Solid Freeform Fabrication Symposium.
4. Bhardwaj, T., & Shukla, M. (2018). Effect of toolpath strategy on the properties of DMLS parts. Rapid Prototyping Journal.
5. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). The MIT Press.
6. Liu, C., et al. (2020). Intelligent additive manufacturing and design: state of the art and future perspectives. Additive Manufacturing, 101091.

9. Uzman Analizi & Yorum