Pekiştirmeli Öğrenme Modelleri, SFT'ye Göre Matematik Problemlerinde Daha Yapılandırılmış Temsiller SunuyorProbing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned ModelsHabere gitRead the article Türkçe (otomatik çeviri) English (automatic translation) |
ÖzetSummaryÇalışma, matematiksel akıl yürütmede RL ile ince ayarlı modellerin SFT modellerini neden geride bıraktığını inceliyor. Bulgulara göre RL, iç temsilleri daha doğrusal olarak ayrılabilir kılıyor ve derinliğe bağlı hiyerarşik bir katman yapısı oluşturuyor. Buna karşın SFT, katman önemini katmanlar arasında eşit dağıtıyor.The study investigates why models fine-tuned with RL outperform SFT models in mathematical reasoning. Findings indicate that RL makes internal representations more linearly separable and establishes a depth-dependent hierarchical layer structure. In contrast, SFT distributes layer importance equally across layers. |
Neden ÖnemliWhy it mattersAkıl yürütmede RL ile SFT arasındaki performans farkı yaygın olarak gözlemleniyor ancak mekanizması hâlâ belirsiz. RL'in yalnızca çıktıyı kalibre etmekle kalmayıp bilginin nasıl temsil edildiğini yeniden şekillendirdiğini göstermek, eğitim hattı tasarımını ve yorumlanabilirliği doğrudan etkiliyor. Bu bulgu, RL'in yapılandırılmış akıl yürütmeyi mi öğrettirdiği yoksa yalnızca yüzeysel cevap kalıplarını mı ödüllendirdiği tartışmasına da katkı sağlıyor.The performance gap between RL and SFT in reasoning is widely observed, yet the underlying mechanism remains unclear. Demonstrating that RL does more than calibrate outputs by reshaping how information is represented directly impacts training pipeline design and interpretability. This finding also contributes to the debate over whether RL teaches structured reasoning or merely rewards superficial response patterns. |
Öne ÇıkanlarHighlights
|
EleştiriCritical take"RL temsilleri kökten yeniden yapılandırıyor" ifadesi, doğrusal sonda ve ortalama ablasyonun kanıtlayabileceğinin ötesine geçiyor. Bu durum, özellikle atölye uzunluğundaki bir çalışmada dikkat çekici. Token dağıtımı sonuçları da açıkça karışık; bu durum, makalenin kendi anlatısındaki "temiz RL avantajı" iddiasını zayıflatıyor.The claim that "RL fundamentally restructures representations" goes beyond what linear probing and average ablation can prove. This is particularly notable for a workshop-length study. The token distribution results are also explicitly mixed, which undermines the paper's claim of a "clean RL advantage." |