Durdurma vektörü: Verimli akıl yürütme için nedensel yönlendirme müdahalesinin içselleştirilmesiThe Halt Vector: Internalizing a Causal Steering Intervention for Efficient Reasoning

ÖzetSummary

Makale, DeepSeek-R1-Distill-Qwen-7B'nin aktivasyon uzayında belirli bir yön olan 'halt vektörünü' tanıtıyor; bu yön modelin ağırlıklarına içselleştirildiğinde doğruluk kaybı olmadan gereksiz akıl yürütme adımlarını azaltıyor.The article introduces the 'halt vector,' a specific direction in the activation space of DeepSeek-R1-Distill-Qwen-7B; when this direction is internalized into the model's weights, it reduces unnecessary reasoning steps without any loss in accuracy.

Neden ÖnemliWhy it matters

Verimli akıl yürütme, gecikme ve işlem maliyetinin kritik olduğu gerçek dünya uygulamalarında büyük dil modellerini devreye almak için hayati öneme sahiptir. Yazarlar, nedensel yönlendirme müdahalesini içselleştirerek düşünce zinciri süreçlerini dinamik olarak kısaltan bir yöntem gösteriyor ve probleme özgü boşluklara uyum sağlayamayan küresel uzunluk cezalarının sınırlılığını ele alıyor.Efficient reasoning is crucial for deploying large language models in real-world applications where latency and computational costs are critical. The authors demonstrate a method that dynamically shortens chain-of-thought processes by internalizing causal steering interventions, addressing the limitations of global length penalties that fail to adapt to problem-specific gaps.

Öne ÇıkanlarHighlights

• Katman 18'de ortalamalar arasındaki fark yönünü belirleyerek modelin düşünme süresini kontrol ediyor.Controls the model's thinking duration by identifying the direction of the difference between means at Layer 18.
• Bu yön üzerine naif bir projeksiyonun eksen dışı boyutları bozduğunu göstererek, kısaltma için aktivasyonun doğal değerlerle yeniden yapılandırılmasını gerektiriyor.Shows that naive projection onto this direction corrupts off-axis dimensions, requiring the reconstruction of activations with natural values for shortening.
• Beş görülmemiş kıyaslamada akıl yürütme adımlarında %25 azalma sağlıyor, her problemin kaldırılabilir boşluğunu 0.70 korelasyonla izliyor.Achieves a 25% reduction in reasoning steps across five unseen benchmarks, tracking each problem's removable gap with a 0.70 correlation.

EleştiriCritical take

Araştırmanın kapsamı tek bir model ve 24 eğitim problemiyle sınırlıdır; bu durum halt vektörünün diğer mimarilere veya daha büyük veri kümelerine genellenebilirliği konusunda sorular ortaya koymaktadır.The study's scope is limited to a single model and 24 training problems; this raises questions about the generalizability of the halt vector to other architectures or larger datasets.