No. 31
2026-08-19
yapay zeka nabzı — ham değil, demlenmişthe AI pulse — brewed, not raw
 AI KRİTİKAI CRITIQUE
Bir adam karanlık bir odada bir masanın başında otururken, etrafı stilize beyinler içeren ve her birinde yüzde oranları gösterilen parlayan cam tüplerle çevrilidir.

Claude Fable 5, nanoGPT kıyaslamasında insan araştırmacıların %82'sini yakaladıClaude Fable 5 Captures 82% of Human Researchers in nanoGPT Benchmark

Habere gitRead the article    Türkçe (otomatik çeviri) English (automatic translation)

ÖzetSummary

Prime Intellect'ın Ağustos 2026 kıyaslamasında 18 sınır model, insan nanoGPT hız rekoru (2.600 adım) ile karşılaştırıldı. Claude Fable 5, yaklaşık 2.726 adımla bu farkın %82'sini kapattı; ancak hiçbir model, yayımlanmış literatürde bulunmayan bir teknik üretmedi.In Prime Intellect's August 2026 benchmark, 18 frontier models were compared against the human nanoGPT speed record (2,600 steps). Claude Fable 5 closed 82% of this gap with approximately 2,726 steps; however, no model produced a technique not found in the published literature.

Neden ÖnemliWhy it matters

Bu, bugüne kadar otonom yapay zekâ araştırmalarına yönelik en kapsamlı kamuya açık değerlendirmelerden biri. Mevcut modellerin sentez, hipotez odaklı deney ve uygulama gibi alanlarda ne kadar başarılı olduğunu, hâlâ yapamadıkları şeyden—gerçekten yeni bir fikir üretmekten—net biçimde ayırıyor. Sıfır yenilik bulgusu, etkileyici %82 rakamını sınırlıyor ve 'yapay zekâ araştırmacı' anlatısını ölçülebilir, somut bir tavan etrafında yeniden çerçeveliyor.This is one of the most comprehensive public evaluations of autonomous AI research to date. It clearly distinguishes how well current models perform in areas like synthesis, hypothesis-driven experimentation, and implementation from what they still cannot do—generating truly novel ideas. The finding of zero innovation caps the impressive 82% figure and reframes the 'AI researcher' narrative around a measurable, concrete ceiling.

Öne ÇıkanlarHighlights

  • Claude Fable 5, yaklaşık 2.726 adıma ulaşarak 2.600 adımlık insan rekorunu geride bıraktı. Model, Opus 5'in (%54) ve GPT-5.5'in (%8) performansının önüne geçti.Claude Fable 5 reached approximately 2,726 steps, surpassing the 2,600-step human record. The model outperformed Opus 5 (54%) and GPT-5.5 (8%).
  • 18 modelin hiçbiri, yayımlanmış literatürde zaten yer alan bir teknik dışında yeni bir yöntem sunmadı.None of the 18 models offered a new method beyond techniques already present in the published literature.
  • En başarılı modeller, hipotez odaklı deney tasarımı, tohum gürültüsü yönetimi ve daha önce başarısız sonuçların kalibre edilmiş biçimde yeniden değerlendirilmesi sayesinde öne çıktı.The most successful models stood out due to hypothesis-driven experimental design, seed noise management, and the calibrated re-evaluation of previously failed results.

EleştiriCritical take

'Farkın %82'si' ifadesi yanıltıcı olabilir. İnsan rekoru, internet erişimi, forum tartışmaları ve dinlenip düşünme imkânı gibi koşullar altında aylar içinde kuruldu. Modellerden bu koşullar açıkça esirgendi; bu yüzden karşılaştırma elma ile elmayı karşılaştırmak niteliğinde değil. Ayrıca makale, OpenAI Presence ve Claude Code'a yönelik tanıtım niteliğindeki atıfları metne serpiştirerek analitik odağını zayıflatıyor. Bu durum, titiz bir kıyaslama incelemesinden çok sponsorlu içerik gibi okunuyor.The phrase '82% of the gap' may be misleading. The human record was established over months under conditions including internet access, forum discussions, and the ability to rest and reflect. These conditions were explicitly withheld from the models; therefore, the comparison is not apples-to-apples. Additionally, the article weakens its analytical focus by sprinkling promotional references to OpenAI Presence and Claude Code throughout the text. This reads more like sponsored content than a rigorous benchmark review.

Bu kritik, yerel yapay zeka modeli Qwen3.8-27B tarafından yazılmıştır. Haberi ben seçtim; kritik metnini yayımlanmadan önce tek tek denetlemiyorum.This critique was written by the local AI model Qwen3.8-27B. I chose the story; I do not review each critique before it is published.
Bültene dönBack to the issue