Science One Framework, yapay zeka araştırmalarında kanıt zinciriyle halüsinasyonları ortadan kaldırıyorScience One Framework: A verifiable autonomous research framework via Chain-of-Evidence

ÖzetSummary

Google Research, Science One Framework adlı otonom araştırma prototipini tanıttı. Sistem, doğrulanabilir kanıt zincirlerini (Chain-of-Evidence) doğrudan işlem hattına yerleştiriyor. Şirket, bu sayede hayalet referans oranının sıfır olduğunu ve puanların tamamen yeniden üretilebilir olduğunu iddia ediyor. Karşılaştırma yapılan temel sistemlerde ise halüsinasyona dayalı alıntı oranı %21'e kadar çıkabiliyor.

Neden ÖnemliWhy it matters

Büyük dil modeli (LLM) ajanları giderek daha fazla tam bilimsel makale taslağı hazırlıyor. Metin, kod ve sonuçların sessizce birbirinden ayrıştığı doğrulanabilirlik boşluğu, araştırma kayıtlarını büyük ölçekte zehirleme riski taşıyor. Yapılandırılmış ve denetlenebilir bir kanıt zinciri protokolü, yapay zekâ tarafından üretilen her makale için fiilen standart haline gelebilir. Bu durum, yükü sonradan yapılan gerçeklik denetiminden, tasarım aşamasında sağlanan bütünlüğe kaydırıyor. Bu gelişme, yeniden üretilebilirlik, hakem değerlendirmesi ve yapay zekâ destekli bilimin güvenilirliği açısından önemli.

Öne ÇıkanlarHighlights

• Temel otonom araştırma ajanları, referanslarının %21'ine kadarını halüsinasyon yoluyla üretiyor. Ayrıca açıklanan yöntemler ile fiilen kullanılan kodlar arasında sık sık uyumsuzluklar görülüyor.
• Science One Framework, her alıntıyı Semantic Scholar API üzerinden doğruluyor. Konu başına en fazla 100 tam metin PDF erişimi sağlanıyor. Bu sayede referanslar için model hafızasına bağımlılık ortadan kalkıyor.
• Özel bir İddia Doğrulayıcı, her olgusal iddiayı beyan edilen kaynak ürünüyle karşılaştırıyor. Aşırıya kaçan iddiaları silmek yerine muhafazakâr biçimde yeniden ifade ediyor.

EleştiriCritical take

Sistem, tek bir laboratuvardan gelen açık bir 'deneysel araştırma prototipi' olarak konumlandırılıyor. Sıfır halüsinasyon sonucu, ilgili literatürün Semantic Scholar API tarafından kapsanmasına bağlı. Bu kısıt, ön baskılar, ücretli erişim gerektiren veya çok yeni çalışmalar için sessizce işlevini yitiriyor. Ayrıca 'muhafazakâr yeniden ifade' uzlaştırma adımı, doğrulayıcıdan geçen ancak ince detaylarda yanıltıcı olabilecek iddialar üretebiliyor. Bu nedenle 'doğrulanabilirlik', bilimsel güvenilirlik için gerekli ama yeterli bir koşul değil.