Artan Bilgiyle Sembolik Planlama Kullanarak Örnek Verimliliği Artıran Hiyerarşik Pekiştirmeli ÖğrenmeHierarchical Reinforcement Learning with Symbolic Planning and Incremental Knowledge Boosts Sample Efficiency

ÖzetSummary

Sembolik bir planlayıcının (ör. D*) kademeli olarak güncellenen bir dünya modeli üzerinde çalışarak düşük seviyeli, hedef koşullu sinirsel politikaları yönlendirdiği nörosembolik hiyerarşik pekiştirmeli öğrenme çerçevesi. Bu yapı, seyrek ödüllü gezinme görevlerinde örnek verimliliğini artırıyor.A neurosymbolic hierarchical reinforcement learning framework where a symbolic planner (e.g., D*) guides low-level, goal-conditioned neural policies by operating on a progressively updated world model. This structure improves sample efficiency in sparse-reward navigation tasks.

Neden ÖnemliWhy it matters

Örnek verimliliği, özellikle robotikte sıkça karşılaşılan uzun ufuklu ve seyrek ödüllü problemlerde pekiştirmeli öğrenmenin en kalıcı darboğazlarından biri. Bu çalışma, sembolik bilgi tabanını tasarım aşamasında sabitlemek yerine keşif sırasında güncellenebilir kılmasıyla nörosembolik planlama ve çevrimiçi öğrenme arasındaki pratik boşluğu kapatıyor. Kısmen bilinen ve sürekli değişen ortamlarda akıl yürütmesi gereken bedenli yapay zeka ajanları için doğrudan ilgili.Sample efficiency is one of the most persistent bottlenecks in reinforcement learning, particularly for long-horizon and sparse-reward problems common in robotics. This work bridges the practical gap between neurosymbolic planning and online learning by allowing the symbolic knowledge base to be updated during discovery rather than being fixed at the design stage. It is directly relevant to embodied AI agents that must reason in partially known and continuously changing environments.

Öne ÇıkanlarHighlights

• Sembolik yüksek seviyeli planlayıcı (D*), sabit bilgiye dayalı hiyerarşik pekiştirmeli öğrenme (HRL) baz çizgilerinin aksine kademeli olarak güncellenen bir dünya temsili üzerinde akıl yürütüyor.The symbolic high-level planner (D*) reasons over a progressively updated world representation, unlike hierarchical reinforcement learning (HRL) baselines that rely on static knowledge.
• Düşük seviyeli hedef koşullu sinirsel modüller, uçtan uca ödül yerine ödül şekillendirme yoluyla hareket primitiflerini öğreniyor.Low-level goal-conditioned neural modules learn action primitives through reward shaping rather than end-to-end rewards.
• Önceden mevcut dünya bilgisi olduğunda, optimal sembolik planlama için İnanç Dünya Ağacı Araması (Belief World Tree Search) tanıtılıyor.When prior world knowledge is available, Belief World Tree Search is introduced for optimal symbolic planning.

EleştiriCritical take

Değerlendirme, sembolik planlamaya nispeten uygun ve yapılandırılmış gezinme görevleriyle sınırlı. Yüksek boyutlu, sürekli veya düşmanca ortamlara genelleme ise test edilmemiş. Elle tasarlanan sembolik InK temsili de gerçek dünya devreye alımında gürültülü ve belirsiz sensör girdilerine karşı ölçeklenebilirlik ve dayanıklılık açısından açık sorular bırakıyor.The evaluation is limited to relatively suitable and structured navigation tasks for symbolic planning. Generalization to high-dimensional, continuous, or adversarial environments has not been tested. Additionally, the hand-designed symbolic InK representation leaves open questions regarding scalability and robustness to noisy and ambiguous sensor inputs in real-world deployment.