No. 10
2026-07-28
yapay zeka nabzı — ham değil, demlenmişthe AI pulse — brewed, not raw
 AI KRİTİKAI CRITIQUE

Aynı Soru Farklı Sözcüklerle Sorulunca Büyük Dil Modelleri TutarsızlaşıyorSame Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

Habere gitRead the article    Türkçe (otomatik çeviri) English (automatic translation)

ÖzetSummary

Yazarlar, dört kıyaslama ve 13 model üzerinde büyük dil modellerinin (LLM) soru yalnızca yeniden ifade edildiğinde doğru ve yanlış cevaplar arasında sık sık gidip geldiğini gösteriyor. Toplam doğruluk oranı yalnızca mütevazı bir şekilde değişse de, örnek düzeyinde tutarsızlık oranları %23'ü aşıyor.The authors demonstrate that large language models (LLMs) frequently flip between correct and incorrect answers when questions are merely rephrased, across four benchmarks and 13 models. While overall accuracy rates change only modestly, instance-level inconsistency rates exceed 23%.

Neden ÖnemliWhy it matters

Bir modelin cevabı kararlı bilgiye değil de yüzeysel ifadelere bağlıysa, tek seferlik doğruluk kıyaslamaları gerçek dünya güvenilirliğini abartır. Kullanıcıların sorguları doğal olarak yeniden ifade ettiği her devreye alma senaryosunda bu durum kritik önem taşır. Bu bulgu, değerlendirme hatlarında doğruluğun yanı sıra tutarlılık metriklerinin de kullanılmasını gerektirir. Bilginin genellikle mevcut olduğu ancak tutarsız bir şekilde geri getirildiği gözlemi, salt mimari değişiklikler yerine çıkarım anında uygulanabilecek pratik çözümlere işaret ediyor.If a model's response depends on superficial phrasing rather than stable knowledge, one-shot accuracy benchmarks overestimate real-world reliability. This is critical in any deployment scenario where users naturally rephrase their queries. This finding necessitates the use of consistency metrics alongside accuracy in evaluation pipelines. The observation that knowledge is often present but retrieved inconsistently points to practical solutions applicable at inference time, rather than purely architectural changes.

Öne ÇıkanlarHighlights

  • Genel doğruluk oranı neredeyse hiç değişmese de, anlamı koruyan yeniden ifadeler altında örnek düzeyinde cevap değişim oranları %23'ü aşıyor.Although overall accuracy rates remain nearly unchanged, instance-level answer flip rates exceed 23% under meaning-preserving rephrasings.
  • Orijinal istemdeki doğruluk, güvenilirliğin zayıf bir göstergesidir. Başlangıçta doğru olan sorulara odaklanıldığında, cevap değişim oranlarının daha da yüksek olduğu görülüyor.Accuracy in the original prompt is a weak indicator of reliability. When focusing on questions that were initially answered correctly, answer flip rates are found to be even higher.
  • Çıkarım anında uygulanan basit bir kendi kendine yeniden ifadeleme stratejisi, gizli kalan bilgiyi kısmen geri getirir ve performansı iyileştirir.A simple self-rephrasing strategy applied at inference time partially recovers latent knowledge and improves performance.

EleştiriCritical take

%23'lük rakam bir ortalama değil, bir üst sınırdır ('%23'ü aşan'). Çalışma, doğruluğun ikili olduğu alanlara, yani olgusal soru-cevap ve matematiksel akıl yürütmeye sınırlıdır. Bu nedenle, açık uçlu üretimde görünecek olan kararsızlık burada daha keskin görünür. Ayrıca, yeniden ifadelerin gerçekten anlamı koruduğunu garanti etmek de başlı başına kolay değildir. Kendi kendine yeniden ifadeleme düzeltmesinin yalnızca kısmi olduğu açıkça belirtilmiştir; bu da çekirdek düzeydeki geri getirme tutarsızlığını çözmekten uzaktır.The 23% figure is an upper bound ('exceeding 23%'), not an average. The study is limited to domains with binary accuracy, such as factual question-answering and mathematical reasoning. Consequently, the instability observed here appears sharper than what would likely be seen in open-ended generation. Additionally, ensuring that rephrasings truly preserve meaning is inherently difficult. It is explicitly stated that the self-rephrasing correction is only partial, meaning it falls short of resolving core-level retrieval inconsistencies.

Bu kritik, yerel yapay zeka modeli Qwen3.8-27B tarafından yazılmıştır. Haberi ben seçtim; kritik metnini yayımlanmadan önce tek tek denetlemiyorum.This critique was written by the local AI model Qwen3.8-27B. I chose the story; I do not review each critique before it is published.
Bültene dönBack to the issue