No. 33
2026-08-21
yapay zeka nabzı — ham değil, demlenmişthe AI pulse — brewed, not raw
 AI KRİTİKAI CRITIQUE

Temel modellerin geometri çizim yeteneği sınanıyorFundamental models' geometry drawing ability is being tested

Habere gitRead the article    Türkçe (otomatik çeviri) English (automatic translation)

ÖzetSummary

Makale, temel modellerin yalnızca doğru cevaba ulaşmakla kalmayıp sorunu çözmek için gereken geometrik şekilleri de oluşturup oluşturamadığını test eden, 954 olimpiyat geometri sorusundan (297 soruluk zor bir alt küme dahil) oluşan açık kaynak bir kıyaslama sunuyor. Mevcut modellerde çarpıcı bir uçurum görülüyor: güçlü problem çözme becerisi, üretilen şekiller için yalnızca %36,14'lik ortalama Asymptote derleme başarı oranıyla bir arada var oluyor.The article presents an open-source benchmark consisting of 954 olympiad geometry problems (including a difficult subset of 297) that tests whether foundational models can not only arrive at the correct answer but also generate the geometric figures required to solve the problem. A striking gap is observed in current models: strong problem-solving capabilities coexist with an average Asymptote compilation success rate of only 36.14% for the generated figures.

Neden ÖnemliWhy it matters

MathVista ve MathVerse gibi mevcut kıyaslamalar yalnızca cevabın doğruluğunu ölçüyor; şekil oluşturma becerisi ise ölçümsüz kalıyor. Bu çalışma, geometrik akıl yürütmede gizli bir darboğaz olabilecek bu yetkinliği izole ediyor. Her soruyu insan eliyle hazırlanmış, yüksek sadakatli bir Asymptote şekli ve çok modlu bir metrik seti (metin, kod, görsel, VLM, kısıt tabanlı) ile eşleştirerek 'matematik akıl yürütme' iddialarının nerede çözüldüğünü gösteren somut bir tanı aracı sunuyor. Açık kaynak olarak yayımlanması, çoktan seçmeli doğruluğun ötesinde uzamsal-geometrik sadakati zorlu test etmek isteyen model geliştiricileri için aracı hemen kullanılabilir kılıyor.Existing benchmarks like MathVista and MathVerse measure only answer correctness, leaving figure-generation capability unmeasured. This study isolates this competency, which may represent a hidden bottleneck in geometric reasoning. By pairing each problem with a human-created, high-fidelity Asymptote figure and a multimodal metric set (text, code, visual, VLM, constraint-based), it provides a concrete diagnostic tool showing where claims of 'mathematical reasoning' break down. Its open-source release makes the tool immediately available for model developers who want to rigorously test spatial-geometric fidelity beyond multiple-choice accuracy.

Öne ÇıkanlarHighlights

  • 954 soru + 297 zor alt küme; her biri doğru kabul edilen, insan eliyle hazırlanmış bir Asymptote şekliyle birlikte954 problems + 297 hard subset; each paired with a human-created Asymptote figure accepted as correct
  • Mevcut temel modellerde yalnızca %36,14'lik ortalama derleme başarı oranıOnly a 36.14% average compilation success rate in current foundational models
  • Metin, kod, görsel, VLM ve kısıt tabanlı kontrolleri kapsayan beş metrikli değerlendirme setiA five-metric evaluation set covering text, code, visual, VLM, and constraint-based checks

EleştiriCritical take

Kıyaslama, doğru şekil temsilini yalnızca Asymptote'a bağlayarak geometrik anlayışı belirli bir DSL'de yetkinlikle karıştırıyor. Uzamsal akıl yürütmede başarılı ama Asymptote kodu yazmakta zorlanan bir model, bir doğrudan yanlış tanımlayan modelle aynı şekilde cezalandırılıyor. Ayrıca %36'lık derleme oranı kaba bir ortalama; soru bazlı hata sınıflandırmaları olmadan, hataların yanlış yapıdan, sözdizimi hatasından yoksa eksik yardımcı çizgilerden mi kaynaklandığını ayırt etmek zor. Bu durum, makalenin iddia ettiği tanısal hassasiyeti sınırlıyor.The benchmark conflates geometric understanding with proficiency in a specific DSL by tying correct figure representation solely to Asymptote. A model that excels in spatial reasoning but struggles to write Asymptote code is penalized in the same way as a model that directly misidentifies the solution. Furthermore, the 36% compilation rate is a coarse average; without problem-level error classification, it is difficult to distinguish whether errors stem from incorrect structure, syntax mistakes, or missing auxiliary lines. This limits the diagnostic precision claimed by the paper.

Bu kritik, yerel yapay zeka modeli Qwen3.8-27B tarafından yazılmıştır. Haberi ben seçtim; kritik metnini yayımlanmadan önce tek tek denetlemiyorum.This critique was written by the local AI model Qwen3.8-27B. I chose the story; I do not review each critique before it is published.
Bültene dönBack to the issue