No. 119
2026-11-15
yapay zeka nabzı — ham değil, demlenmişthe AI pulse — brewed, not raw
 AI KRİTİKAI CRITIQUE

Yapay zeka vergi testinde kritik soruları atladıAI Skipped Critical Questions in Tax Test

Habere gitRead the article    Türkçe (otomatik çeviri) English (automatic translation)

ÖzetSummary

Surge AI'ın 'DAYJOB: Tax' kıyaslaması, 1.789 belgeye kadar uzanan 50 gerçek dünya ABD vergi görevini simüle etti. Test, en iyi performansı gösteren modelin (Claude Sonnet 5.5) bile 250 denemede yalnızca %10,8'ini geçtiğini ortaya koydu. Bu sonuç, mevcut yapay zeka sistemlerinin sayısal hesaplamalarda güvenilir olsa da, bir müşteriye tavsiye vermeden önce hangi soruları sormalı gerektiğini tutarlı biçimde belirleyemediğini gösteriyor.Surge AI's 'DAYJOB: Tax' benchmark simulated 50 real-world US tax tasks involving up to 1,789 documents. The test revealed that even the best-performing model (Claude Sonnet 5.5) passed only 10.8% of 250 attempts. This result indicates that while current AI systems are reliable in numerical calculations, they consistently fail to determine which questions should be asked before advising a client.

Neden ÖnemliWhy it matters

Vergi işi, yüksek riskli ve belge yoğunluğu yüksek bir meslektir. Tek bir çapraz referansın kaçırılması, müşterilere ceza veya kaybedilen istisnalar nedeniyle on binlerce dolarlık maliyet çıkarabilir. Kıyaslamanın temel bulgusu, yapay zekânın 'cevap' kısmında başarılı olsa da 'önce neyi doğrulamalıyım?' sorusunda yetersiz kaldığıdır. Bu eksiklik, hukuktan finansal planlamaya kadar düzenlenmiş danışmanlık rollerinde yapay zekânın devreye alınması için kritik önem taşır. Ayrıca kıyaslama, sektörün zaman içinde takip edebileceği somut ve tekrarlanabilir bir ölçüt (madde başına %95 eşik değeri, 5 katlı tekrarlama) sunuyor.Tax work is a high-risk, document-intensive profession. Missing a single cross-reference can cost clients tens of thousands of dollars in penalties or lost deductions. The benchmark's core finding is that AI excels at the 'answer' part but falls short on the 'what should I verify first?' question. This gap is critical for deploying AI in regulated advisory roles, from law to financial planning. Additionally, the benchmark provides a concrete, repeatable metric (a 95% threshold per item, 5-fold repetition) that the industry can track over time.

Öne ÇıkanlarHighlights

  • En iyi model (Claude Sonnet 5.5) yalnızca 250 denemeden 27'sini geçti; ilk 10 modelin tamamı %11'in altında kaldıThe best model (Claude Sonnet 5.5) passed only 27 out of 250 attempts; all top 10 models remained below 11%
  • Ev satışı senaryosunda GPT-6 Astra, 5 çalıştırmanın hiçbirinde 2 yıllık ikamet süresi son tarihini işaret etmedi; Claude Opus 5.5 ise her seferinde bu detayı yakaladıIn the home sale scenario, GPT-6 Astra failed to flag the 2-year residency deadline in any of 5 runs; Claude Opus 5.5 caught this detail every time
  • Roth IRA bölme görevinde Claude Opus 5.5, 5 denemenin tamamında çiftin yasal olarak evli olmadığını varsaydı; GPT-6 Astra ise 5 denemeden 4'ünde medeni durumun doğrulanmasını istediIn the Roth IRA split task, Claude Opus 5.5 assumed the couple was legally unmarried in all 5 attempts; GPT-6 Astra requested verification of marital status in 4 out of 5 attempts

EleştiriCritical take

%10,8'lik genel başarı oranı dikkat çekici. Ancak kıyaslamanın kendi tasarımı, tek bir denemede puanlanan maddelerin %95'ini gerektirdiği için son derece yüksek bir bar belirliyor. Bu durum, pratikteki hata oranını abartabilir. Bir model, bir beyanname için maddelerin %90'ını doğru cevaplıyorsa, ikili geçme/kalma çerçevesinin gizlediği bir şekilde 'yakın' sayılabilir. Ayrıca yalnızca 50 görev ve 5 tekrarla, bu tek haneli yüzdelerdeki güven aralıkları oldukça geniş. Bu nedenle modeller arasındaki küçük sıralama değişimleri (örneğin %9,6 ile %9,2) anlamlı bir farklılaşma olarak okunmamalıdır.The 10.8% overall success rate is striking. However, the benchmark's design sets an extremely high bar by requiring 95% of items to be passed in a single attempt. This may exaggerate practical error rates. A model that answers 90% of items correctly for a return could be considered 'close' in ways hidden by the binary pass/fail framework. Furthermore, with only 50 tasks and 5 repetitions, confidence intervals for these single-digit percentages are quite wide. Therefore, small ranking differences between models (e.g., 9.6% vs. 9.2%) should not be read as meaningful distinctions.

Bu kritik, yerel yapay zeka modeli Qwen3.8-27B tarafından yazılmıştır. Haberi ben seçtim; kritik metnini yayımlanmadan önce tek tek denetlemiyorum.This critique was written by the local AI model Qwen3.8-27B. I chose the story; I do not review each critique before it is published.
Bültene dönBack to the issue