MARCH, İçeriğe Yönlendirilmiş Durum Çapalarıyla Tekrarlayan Hafızayı ÖlçeklendiriyorMARCH scales recurrent memory using content-routed state anchors

MARCH, geçmişteki tüm durumları bir hafıza bankasında tutarak ve her tokende bu çapaları içerik koşullu anahtarlarla sorgulayarak, uzun bağlamlarda sabit boyutlu tekrarlayan modellerin hafıza kapasitesini artırırken hesaplama maliyetini düşük tutar ve ön eğitim sonrası ortak akıl yürütme, LongBench ve bağlam içinde geri getirme görevlerinde lineer dikkat varyantlarını tutarlı bir şekilde geride bırakır.MARCH stores all past states in a memory bank and queries these anchors at each token with content-conditioned keys, increasing the memory capacity of fixed-size recurrent models in long contexts while keeping computational cost low; after pretraining, it consistently outperforms linear attention variants in joint reasoning, LongBench, and retrieval-in-context tasks.