Aynı Soru Farklı Sözcüklerle Sorulunca Büyük Dil Modelleri TutarsızlaşıyorSame Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

Araştırma, aynı sorunun farklı ifadeleriyle büyük dil modellerinin cevaplarının sıkça değiştiğini göstererek, tek bir istemin doğruluğunun model güvenilirliğinin göstergesi olmadığını ve tutarlılık ölçümünün daha doğru bir değerlendirme sunduğunu ortaya koyuyor.The research shows that large language models' answers frequently change with different phrasings of the same question, revealing that the correctness of a single prompt is not an indicator of model reliability and that measuring consistency provides a more accurate assessment.