Artan Bilgiyle Sembolik Planlama Kullanarak Örnek Verimliliği Artıran Hiyerarşik Pekiştirmeli ÖğrenmeHierarchical Reinforcement Learning with Symbolic Planning and Incremental Knowledge Boosts Sample Efficiency

ÖzetSummary

Sembolik bir planlayıcının (ör. D*) kademeli olarak güncellenen bir dünya modeli üzerinde çalışarak düşük seviyeli, hedef koşullu sinirsel politikaları yönlendirdiği nörosembolik hiyerarşik pekiştirmeli öğrenme çerçevesi. Bu yapı, seyrek ödüllü gezinme görevlerinde örnek verimliliğini artırıyor.

Neden ÖnemliWhy it matters

Örnek verimliliği, özellikle robotikte sıkça karşılaşılan uzun ufuklu ve seyrek ödüllü problemlerde pekiştirmeli öğrenmenin en kalıcı darboğazlarından biri. Bu çalışma, sembolik bilgi tabanını tasarım aşamasında sabitlemek yerine keşif sırasında güncellenebilir kılmasıyla nörosembolik planlama ve çevrimiçi öğrenme arasındaki pratik boşluğu kapatıyor. Kısmen bilinen ve sürekli değişen ortamlarda akıl yürütmesi gereken bedenli yapay zeka ajanları için doğrudan ilgili.

Öne ÇıkanlarHighlights

• Sembolik yüksek seviyeli planlayıcı (D*), sabit bilgiye dayalı hiyerarşik pekiştirmeli öğrenme (HRL) baz çizgilerinin aksine kademeli olarak güncellenen bir dünya temsili üzerinde akıl yürütüyor.
• Düşük seviyeli hedef koşullu sinirsel modüller, uçtan uca ödül yerine ödül şekillendirme yoluyla hareket primitiflerini öğreniyor.
• Önceden mevcut dünya bilgisi olduğunda, optimal sembolik planlama için İnanç Dünya Ağacı Araması (Belief World Tree Search) tanıtılıyor.

EleştiriCritical take

Değerlendirme, sembolik planlamaya nispeten uygun ve yapılandırılmış gezinme görevleriyle sınırlı. Yüksek boyutlu, sürekli veya düşmanca ortamlara genelleme ise test edilmemiş. Elle tasarlanan sembolik InK temsili de gerçek dünya devreye alımında gürültülü ve belirsiz sensör girdilerine karşı ölçeklenebilirlik ve dayanıklılık açısından açık sorular bırakıyor.