SHAPE, büyük dil modellerinin matematiksel akıl yürütmesini analiz ediyorSHAPE analyzes the mathematical reasoning of large language models

ÖzetSummary

SHAPE, büyük dil modellerinin (LLM) düşünce zincirini (chain-of-thought) cebirsel ve geometrik gibi matematiksel 'anlam uzaylarına' ile sadeleştirme ve geriye doğru çalışma gibi 'heuristiklere' ayırıyor. Çalışma, cevabın doğruluğunu en iyi öngören unsurun heuristik çeşitliliği olduğunu, bunun CoT uzunluğundan daha etkili olduğunu gösteriyor. Ayrıca RL ile yapılan son eğitimin, modelin heuristik repertuarını daralttığı ortaya konuyor.SHAPE decomposes the chain-of-thought (CoT) of large language models (LLMs) into mathematical 'meaning spaces' (algebraic and geometric) and 'heuristics' (such as simplification and working backward). The study demonstrates that heuristic diversity is the best predictor of answer correctness, proving more effective than CoT length. It also reveals that reinforcement learning (RL) fine-tuning narrows the model's heuristic repertoire.

Neden ÖnemliWhy it matters

Bu çalışma, modellerin matematikte neden başarılı veya başarısız olduğunu anlamak için teorik temellere dayanan bir tanı aracı sunuyor. Bu yaklaşım, yalnızca doğruluk metriklerinin ötesine geçiyor. RL'nin heuristik kullanımında 'mode-seeking' (moda yönelimi) eğilimi yarattığı bulgusu pratik açıdan önemli. Bu durum, mevcut son eğitimin modelleri problem çözmede daha az esnek hale getirebileceğine işaret ediyor. Çalışmada gösterilen müdahale yöntemi, yani heuristik çeşitliliğini teşvik etme, iyileştirme için somut ve yorumlanabilir bir kaldıraç sunuyor.This work provides a theoretically grounded diagnostic tool for understanding why models succeed or fail in mathematics, moving beyond simple accuracy metrics. The finding that RL induces a 'mode-seeking' tendency in heuristic usage is practically significant, suggesting that current fine-tuning may make models less flexible in problem-solving. The intervention method demonstrated, which encourages heuristic diversity, offers a concrete and interpretable lever for improvement.

Öne ÇıkanlarHighlights

• Matematiksel heuristikler (örneğin geriye doğru çalışma, sadeleştirme), token uzunluğu gibi geleneksel CoT özelliklerinden daha iyi bir şekilde nihai cevabın doğruluğunu öngörüyor.Mathematical heuristics (e.g., working backward, simplification) predict final answer correctness better than traditional CoT features like token length.
• RL ile yapılan son eğitim 'mode-seeking' (moda yönelimi) etkisine yol açıyor: Modeller, çeşitli stratejileri keşfetmek yerine dar bir strateji setine sıkışıyor.RL-based fine-tuning leads to a 'mode-seeking' effect: models get stuck in a narrow set of strategies rather than discovering diverse ones.
• Akıl yürütme çabasının birkaç anlam uzayında yoğunlaşması doğru cevaplarla korelasyon gösteriyor. Yazarlar, bu örüntünün insan problem çözme sürecini yansıttığını belirtiyor.Concentration of reasoning effort in a few meaning spaces correlates with correct answers. The authors note that this pattern mirrors human problem-solving processes.

EleştiriCritical take

Bu çalışma yalnızca bir atölye oturumunda (ICML 2026 AI for Math Workshop) kabul edildi, ana konferans oturumlarında yer almadı. Anlam uzayı ve heuristik sınıflandırmaları, token düzeyindeki LLM akıl yürütmeyle temiz bir şekilde eşleştiğine dair katı bir doğrulama yapılmadan matematik eğitiminden aktarılmış durumda. 'Çeşitli heuristikler doğruluğu artırır' sonucu sınırlı bir model setinde gösterildi. Bu nedenle, farklı mimariler ve zorluk düzeyleri arasında genellenebilirlik henüz kanıtlanmadı.This study was only accepted at a workshop (ICML 2026 AI for Math Workshop) and not in the main conference sessions. The meaning space and heuristic classifications are transferred from mathematical education without rigorous validation that they cleanly align with token-level LLM reasoning. The result that 'diverse heuristics increase accuracy' was demonstrated on a limited model set. Therefore, generalizability across different architectures and difficulty levels has not yet been proven.