![]() Yapay zeka vergi testinde kritik soruları atladıAI Skipped Critical Questions in Tax TestHabere gitRead the article Türkçe (otomatik çeviri) English (automatic translation) |
ÖzetSummarySurge AI'ın 'DAYJOB: Tax' kıyaslaması, 1.789 belgeye kadar uzanan 50 gerçek dünya ABD vergi görevini simüle etti. Test, en iyi performansı gösteren modelin (Claude Sonnet 5.5) bile 250 denemede yalnızca %10,8'ini geçtiğini ortaya koydu. Bu sonuç, mevcut yapay zeka sistemlerinin sayısal hesaplamalarda güvenilir olsa da, bir müşteriye tavsiye vermeden önce hangi soruları sormalı gerektiğini tutarlı biçimde belirleyemediğini gösteriyor.Surge AI's 'DAYJOB: Tax' benchmark simulated 50 real-world US tax tasks involving up to 1,789 documents. The test revealed that even the best-performing model (Claude Sonnet 5.5) passed only 10.8% of 250 attempts. This result indicates that while current AI systems are reliable in numerical calculations, they consistently fail to determine which questions should be asked before advising a client. |
Neden ÖnemliWhy it mattersVergi işi, yüksek riskli ve belge yoğunluğu yüksek bir meslektir. Tek bir çapraz referansın kaçırılması, müşterilere ceza veya kaybedilen istisnalar nedeniyle on binlerce dolarlık maliyet çıkarabilir. Kıyaslamanın temel bulgusu, yapay zekânın 'cevap' kısmında başarılı olsa da 'önce neyi doğrulamalıyım?' sorusunda yetersiz kaldığıdır. Bu eksiklik, hukuktan finansal planlamaya kadar düzenlenmiş danışmanlık rollerinde yapay zekânın devreye alınması için kritik önem taşır. Ayrıca kıyaslama, sektörün zaman içinde takip edebileceği somut ve tekrarlanabilir bir ölçüt (madde başına %95 eşik değeri, 5 katlı tekrarlama) sunuyor.Tax work is a high-risk, document-intensive profession. Missing a single cross-reference can cost clients tens of thousands of dollars in penalties or lost deductions. The benchmark's core finding is that AI excels at the 'answer' part but falls short on the 'what should I verify first?' question. This gap is critical for deploying AI in regulated advisory roles, from law to financial planning. Additionally, the benchmark provides a concrete, repeatable metric (a 95% threshold per item, 5-fold repetition) that the industry can track over time. |
Öne ÇıkanlarHighlights
|
EleştiriCritical take%10,8'lik genel başarı oranı dikkat çekici. Ancak kıyaslamanın kendi tasarımı, tek bir denemede puanlanan maddelerin %95'ini gerektirdiği için son derece yüksek bir bar belirliyor. Bu durum, pratikteki hata oranını abartabilir. Bir model, bir beyanname için maddelerin %90'ını doğru cevaplıyorsa, ikili geçme/kalma çerçevesinin gizlediği bir şekilde 'yakın' sayılabilir. Ayrıca yalnızca 50 görev ve 5 tekrarla, bu tek haneli yüzdelerdeki güven aralıkları oldukça geniş. Bu nedenle modeller arasındaki küçük sıralama değişimleri (örneğin %9,6 ile %9,2) anlamlı bir farklılaşma olarak okunmamalıdır.The 10.8% overall success rate is striking. However, the benchmark's design sets an extremely high bar by requiring 95% of items to be passed in a single attempt. This may exaggerate practical error rates. A model that answers 90% of items correctly for a return could be considered 'close' in ways hidden by the binary pass/fail framework. Furthermore, with only 50 tasks and 5 repetitions, confidence intervals for these single-digit percentages are quite wide. Therefore, small ranking differences between models (e.g., 9.6% vs. 9.2%) should not be read as meaningful distinctions. |
