MARCH, İçeriğe Yönlendirilmiş Durum Çapalarıyla Tekrarlayan Hafızayı ÖlçeklendiriyorMARCH scales recurrent memory using content-routed state anchors

ÖzetSummary

MARCH, periyodik olarak durum kontrol noktalarını içerik yönlendirmeli çapa olarak önbelleğe alan bir tekrarlayan mimari tanıtıyor; bu sayede Transformer'ların kare maliyeti olmadan ölçeklenebilir uzun menzilli hafıza mümkün hale geliyor.MARCH introduces a recurring architecture that periodically caches state checkpoints as content-guided anchors, enabling scalable long-range memory without the quadratic cost of Transformers.

Neden ÖnemliWhy it matters

Model, verimli çözümleme ile yüksek geri çağırma performansı arasındaki boşluğu dolduruyor; tarihsel çözünürlük ile hafıza maliyeti arasında kontrol edilebilir bir denge sunuyor. Bu, özellikle kaynak sınırlı ortamlarda büyük dil modellerinin uzun bağlamları nasıl işlediğini yeniden şekillendirebilir.The model bridges the gap between efficient computation and high retrieval performance, offering a controllable trade-off between historical resolution and memory cost. This could reshape how large language models handle long contexts, especially in resource-constrained environments.

Öne ÇıkanlarHighlights

• Tekrarlayan durum kontrol noktalarının periyodik olarak içerik koşullu çapa olarak önbelleğe alınması.Periodic caching of recurrent state checkpoints as content-conditioned anchors.
• Her token'da nedensel olarak erişilebilir tüm çapa'lar üzerinde dikkat mekanizması tarzı birleştirme.Attention-mechanism style merging over all anchors that are causally accessible at each token.
• Ortak akıl yürütme, LongBench ve bağlam içi geri getirme görevlerinde lineer dikkat varyantlarını tutarlı bir şekilde geride bırakması.Consistent outperformance of linear attention variants on LongBench and in-context retrieval tasks.

EleştiriCritical take

MARCH kare karmaşıklığı hafifletirken, büyüyen hafıza bankası çok uzun diziler için hâlâ önemli depolama ve geri getirme yükü oluşturabilir; bu da pratik ölçeklenebilirliğini sınırlama potansiyeli taşıyor.While MARCH alleviates quadratic complexity, the growing memory bank can still impose significant storage and retrieval overhead for very long sequences; this may limit its practical scalability.