Pekiştirmeli Öğrenme Modelleri, SFT'ye Göre Matematik Problemlerinde Daha Yapılandırılmış Temsiller SunuyorProbing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models

ÖzetSummary

Çalışma, matematiksel akıl yürütmede RL ile ince ayarlı modellerin SFT modellerini neden geride bıraktığını inceliyor. Bulgulara göre RL, iç temsilleri daha doğrusal olarak ayrılabilir kılıyor ve derinliğe bağlı hiyerarşik bir katman yapısı oluşturuyor. Buna karşın SFT, katman önemini katmanlar arasında eşit dağıtıyor.

Neden ÖnemliWhy it matters

Akıl yürütmede RL ile SFT arasındaki performans farkı yaygın olarak gözlemleniyor ancak mekanizması hâlâ belirsiz. RL'in yalnızca çıktıyı kalibre etmekle kalmayıp bilginin nasıl temsil edildiğini yeniden şekillendirdiğini göstermek, eğitim hattı tasarımını ve yorumlanabilirliği doğrudan etkiliyor. Bu bulgu, RL'in yapılandırılmış akıl yürütmeyi mi öğrettirdiği yoksa yalnızca yüzeysel cevap kalıplarını mı ödüllendirdiği tartışmasına da katkı sağlıyor.

Öne ÇıkanlarHighlights

• Katman bazlı gizli durumlar üzerindeki doğrusal sondalar, RL modellerinde cevap doğruluğunu daha doğru tahmin ediyor. Bu durum, daha yapılandırılmış ve ayrılabilir temsillerin varlığına işaret ediyor.
• Ortalama ablasyon, RL modellerinde derin katmanların giderek daha kritik hale geldiği hiyerarşik bir mimarinin geliştiğini gösteriyor. SFT modellerinde ise önem, katmanlar arasında eşit dağılıyor.
• Tekrarlı örneklemelerde token sayısındaki değişkenlik RL modelleri arasında tutarsız. Bu durum, adaptif hesaplama dağıtımını yalnızca RL ile SFT arasındaki farkın değil, tüm eğitim hattının yönlendirdiğini düşündürüyor.

EleştiriCritical take

"RL temsilleri kökten yeniden yapılandırıyor" ifadesi, doğrusal sonda ve ortalama ablasyonun kanıtlayabileceğinin ötesine geçiyor. Bu durum, özellikle atölye uzunluğundaki bir çalışmada dikkat çekici. Token dağıtımı sonuçları da açıkça karışık; bu durum, makalenin kendi anlatısındaki "temiz RL avantajı" iddiasını zayıflatıyor.