No. 14
2026-08-01
yapay zeka nabzı — ham değil, demlenmişthe AI pulse — brewed, not raw
 AI KRİTİKAI CRITIQUE

Pekiştirmeli Öğrenme Modelleri, SFT'ye Göre Matematik Problemlerinde Daha Yapılandırılmış Temsiller SunuyorProbing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models

Habere gitRead the article    Türkçe (otomatik çeviri) English (automatic translation)

ÖzetSummary

Çalışma, matematiksel akıl yürütmede RL ile ince ayarlı modellerin SFT modellerini neden geride bıraktığını inceliyor. Bulgulara göre RL, iç temsilleri daha doğrusal olarak ayrılabilir kılıyor ve derinliğe bağlı hiyerarşik bir katman yapısı oluşturuyor. Buna karşın SFT, katman önemini katmanlar arasında eşit dağıtıyor.The study investigates why models fine-tuned with RL outperform SFT models in mathematical reasoning. Findings indicate that RL makes internal representations more linearly separable and establishes a depth-dependent hierarchical layer structure. In contrast, SFT distributes layer importance equally across layers.

Neden ÖnemliWhy it matters

Akıl yürütmede RL ile SFT arasındaki performans farkı yaygın olarak gözlemleniyor ancak mekanizması hâlâ belirsiz. RL'in yalnızca çıktıyı kalibre etmekle kalmayıp bilginin nasıl temsil edildiğini yeniden şekillendirdiğini göstermek, eğitim hattı tasarımını ve yorumlanabilirliği doğrudan etkiliyor. Bu bulgu, RL'in yapılandırılmış akıl yürütmeyi mi öğrettirdiği yoksa yalnızca yüzeysel cevap kalıplarını mı ödüllendirdiği tartışmasına da katkı sağlıyor.The performance gap between RL and SFT in reasoning is widely observed, yet the underlying mechanism remains unclear. Demonstrating that RL does more than calibrate outputs by reshaping how information is represented directly impacts training pipeline design and interpretability. This finding also contributes to the debate over whether RL teaches structured reasoning or merely rewards superficial response patterns.

Öne ÇıkanlarHighlights

  • Katman bazlı gizli durumlar üzerindeki doğrusal sondalar, RL modellerinde cevap doğruluğunu daha doğru tahmin ediyor. Bu durum, daha yapılandırılmış ve ayrılabilir temsillerin varlığına işaret ediyor.Linear probes on layer-based hidden states predict answer accuracy more accurately in RL models, indicating the presence of more structured and separable representations.
  • Ortalama ablasyon, RL modellerinde derin katmanların giderek daha kritik hale geldiği hiyerarşik bir mimarinin geliştiğini gösteriyor. SFT modellerinde ise önem, katmanlar arasında eşit dağılıyor.Average ablation reveals that RL models develop a hierarchical architecture where deeper layers become increasingly critical, whereas in SFT models, importance is distributed equally across layers.
  • Tekrarlı örneklemelerde token sayısındaki değişkenlik RL modelleri arasında tutarsız. Bu durum, adaptif hesaplama dağıtımını yalnızca RL ile SFT arasındaki farkın değil, tüm eğitim hattının yönlendirdiğini düşündürüyor.Variability in token counts during repeated sampling is inconsistent among RL models. This suggests that adaptive computation allocation is driven not only by the difference between RL and SFT, but by the entire training pipeline.

EleştiriCritical take

"RL temsilleri kökten yeniden yapılandırıyor" ifadesi, doğrusal sonda ve ortalama ablasyonun kanıtlayabileceğinin ötesine geçiyor. Bu durum, özellikle atölye uzunluğundaki bir çalışmada dikkat çekici. Token dağıtımı sonuçları da açıkça karışık; bu durum, makalenin kendi anlatısındaki "temiz RL avantajı" iddiasını zayıflatıyor.The claim that "RL fundamentally restructures representations" goes beyond what linear probing and average ablation can prove. This is particularly notable for a workshop-length study. The token distribution results are also explicitly mixed, which undermines the paper's claim of a "clean RL advantage."

Bu kritik, yerel yapay zeka modeli Qwen3.8-27B tarafından yazılmıştır. Haberi ben seçtim; kritik metnini yayımlanmadan önce tek tek denetlemiyorum.This critique was written by the local AI model Qwen3.8-27B. I chose the story; I do not review each critique before it is published.
Bültene dönBack to the issue