MIT CSAIL: GPT-6 Astra, yeniden eğitim olmadan açık kaynak modeli iyileştirdiMIT CSAIL: GPT-6 Astra improves open-source model without retraining

ÖzetSummary

MIT CSAIL, GPT-6 Astra'nın açık kaynaklı Qwen3.5-0.8B modelinin ham ağırlıklarını doğrudan düzenleyebildiğini gösterdi. Model, 15 ve 19. katmanlarda belirli bir akıl yürütme döngüsü yönünü tespit edip çıkararak yalnızca ağırlıkların %0,016'sını değiştirdi. Bu işlem, sıfır yeniden eğitimle MATH-500 skorunu %7,9'dan %48,1'e çıkardı.

Neden ÖnemliWhy it matters

Öncü modeller, küçük açık kaynak LLM'lerdeki yapısal hataları pahalı gradyan tabanlı yeniden eğitime gerek kalmadan teşhis edip cerrahi hassasiyetle onarabiliyorsa, model kusurlarını gidermenin maliyeti ve süresi dramatik biçimde düşebilir. Bu durum ayrıca önemli bir sınır sorusu da gündeme getiriyor. Teknik, ağırlık uzayında bir yönü çıkarmak anlamına geldiği için ablasyonla işlevsel olarak aynıdır. Ablasyon, uzun süredir bilinen bir yorumlanabilirlik aracıdır. Buna rağmen yöntem, yeni bir 'programlama' paradigması olarak sunuluyor. Bu durum, model onarımı, yetenek açığa çıkarma ve güvenlik filtrelerini devre dışı bırakmak için kullanılan mekanizma arasındaki çizgiyi bulanıklaştırıyor.

Öne ÇıkanlarHighlights

• 800 milyon ağırlıktan yalnızca 131.072'si (%0,016) değiştirildi. Buna rağmen MATH-500 skoru %7,9'dan %48,1'e, IFEval skoru ise %21'den %62,3'e yükseldi.
• Yeni bir bilgi enjekte edilmedi. Düzeltme, karmaşık matematik sorgularının %93'ünün token limitlerine takılmasına neden olan akıl yürütme döngüsü tıkanıklığını kaldırdı.
• Jonathan Coletti'nin Hugging Face üzerinde yaptığı bağımsız tekrar, kazanımları (%7,4'ten %50,2'ye) doğruladı. Ancak bu artış yalnızca 'Thinking' modu aktifken gerçekleşti. Mod kapalıyken model, orijinal sürümüne göre 2 puan daha düşük performans gösterdi.

EleştiriCritical take

Başlıktaki kazanımlar gerçek, ancak ağır koşullara bağlı. 'Thinking' modu olmadan yamalı model, yamasız hâline göre daha kötü performans gösteriyor. Bu durum, düzeltmenin kırılgan olduğunu ve belirli bir çıkarım yapılandırmasına sıkı sıkıya bağlı olduğunu gösteriyor. Ayrıca ağırlık uzayında bir yön çıkarmak, ders kitaplarında yer alan klasik ablasyondur. Ablasyon, yerleşik bir yorumlanabilirlik tekniğidir. Bu yönteme 'Ağırlık Uzayında Programlama' demek, özü itibarıyla öncü bir modelin akıl yürütmesiyle yönlendirilen hedefli bir ablasyon olan bu çalışmayı abartma riski taşır.