Kenar cihazlarda güvenilir akıl yürütme için nörosembolik yönlendirmeNeurosymbolic Routing for Reliable Reasoning on Resource-Constrained Edge Devices

ÖzetSummary

Makale, kenar cihaz sorgularını sınıflandırmak ve yapılandırılmış görevleri (aritmetik, mantık) kesin sembolik çözücülere yönlendirmek için L* dilbilimsel çıkarımıyla deterministik sonlu otomatı öğrenen nörosembolik bir yönlendirici öneriyor. Gerçekten açık uçlu sorunlar için yalnızca küçük bir dil modeli kullanılıyor. Raspberry Pi 4B üzerinde yönlendirici, 100 tutulan istemde Program-of-Thought baz çizgisine kıyasla %98,3 genel doğruluk ve 8,8 kat hızlanma sağlıyor.The article proposes a neurosymbolic router that learns a deterministic finite automaton (DFA) using L* grammatical inference to classify edge device queries and route structured tasks (arithmetic, logic) to exact symbolic solvers. A small language model is used only for truly open-ended problems. On a Raspberry Pi 4B, the router achieves 98.3% overall accuracy and an 8.8x speedup compared to the Program-of-Thought baseline on 100 held-out requests.

Neden ÖnemliWhy it matters

Gizlilik, gecikme ve enerji bütçeleri daraldıkça kenar ve cihaz üstü çıkarım giderek artan bir kısıt haline geliyor. Ancak küçük dil modelleri, aslında deterministik olan görevlerde hâlâ kırılgan. Bu yaklaşım, yapılandırılmış sorguları kesin motorlara devrederek büyük modelleri karşılayamayan donanımlarda güvenilir akıl yürütmeyi mümkün kılabilir. Bu durum, çevrimdışı ortamlarda hem enerji maliyetini hem de halüsinasyon riskini azaltır.As privacy, latency, and energy budgets tighten, edge and on-device inference is becoming an increasingly critical constraint. However, small language models remain fragile on tasks that are actually deterministic. This approach can enable reliable reasoning on hardware that cannot afford large models by delegating structured queries to exact engines. This reduces both energy costs and hallucination risks in offline environments.

Öne ÇıkanlarHighlights

• L* dilbilimsel çıkarımı, yönlendirme DFA'sını otomatik olarak öğreniyor. Bu süreçte SLM'nin kendisi üyelik orakülü olarak kullanılıyor; kurallar elle kodlanmıyor.L* grammatical inference automatically learns the routing DFA. In this process, the SLM itself is used as the membership oracle; rules are not hand-coded.
• Biçimlendirilmiş sorgular 1–11 ms içinde yanıtlanıyor ve dil modeline hiç dokunmuyor. Bu durum, Program-of-Thought'a kıyasla %2,8 enerji tasarrufu sağlıyor.Formatted queries are answered in 1–11 ms without touching the language model. This results in a 2.8% energy saving compared to Program-of-Thought.
• GSM8K, RuleTaker ve DeepMind Mathematics tutulan kümelerinde %98,3 genel doğruluk; PoT'de %72,0, araç çağıran ajanda %58,798.3% overall accuracy on held-out sets from GSM8K, RuleTaker, and DeepMind Mathematics; 72.0% for PoT, and 58.7% for tool-calling agents

EleştiriCritical take

Değerlendirme, üç nispeten iyi yapılandırılmış kıyaslamadan yalnızca 100 test edilmemiş isteme dayanıyor. Bu nedenle %100 yönlendirme doğruluğu iddiası kırılgan ve daha dağınık, dağıtım dışı gerçek dünya sorgularında geçerliliğini yitirebilir. Ayrıca %93,3 kelime sorusu doğruluğu hâlâ göz ardı edilemeyecek bir hata oranına işaret ediyor. Baz çizgileri (tek bir PoT uygulaması, tek bir araç çağıran ajan) dar kapsamlı. Daha agresif istemlenmiş veya ince ayarlanmış bir SLM aradaki farkı daraltabilir. Bu da başlıktaki hızlanmanın kısmen baz çizgisi seçiminden kaynaklanan bir sonuç olabileceğini gösteriyor.The evaluation relies on only 100 unseen requests from three relatively well-structured benchmarks. Therefore, the claim of 100% routing accuracy is fragile and may lose validity on more scattered, out-of-distribution real-world queries. Additionally, the 93.3% word question accuracy still indicates a non-negligible error rate. The baselines (a single PoT implementation, a single tool-calling agent) are narrow in scope. A more aggressively prompted or fine-tuned SLM could narrow the gap. This suggests that the speedup in the headline may be partly a result of baseline selection.