Jev modeli, klinik yapay zeka değerlendirmesinde büyük dil modellerine ucuz ve hızlı alternatifJev model offers a cheap and fast alternative to large language models in clinical AI evaluation

ÖzetSummary

Makale, yapılandırılmış klinik kararlar üreten 'Jev' adlı bir karar dil modelini tanıtıyor. Model, dört klinik yapay zeka değerlendirme görevinde GPT-6, Claude Opus 5.5 ve GPT-5.4 gibi önde gelen LLM hakemleriyle kıyaslandı. Çalışma, maliyet ve gecikme süresinin çok küçük bir kısmıyla benzer doğruluk oranına ulaşıldığını iddia ediyor.The article introduces 'Jev,' a decision language model designed to generate structured clinical decisions. The model was compared against leading LLM judges, such as GPT-6, Claude Opus 5.5, and GPT-5.4, across four clinical AI evaluation tasks. The study claims that Jev achieves similar accuracy rates at a tiny fraction of the cost and latency.

Neden ÖnemliWhy it matters

Klinik yapay zeka çıktılarının otomatik değerlendirmesi, önde gelen LLM hakemlerinin yüksek maliyeti ve gecikme süresi nedeniyle darboğaz yaşıyor. Bu durum, büyük ölçekli değerlendirmelerin çoğu hastane ve araştırma grubu için uygulanabilir olmaktan çıkmasına neden oluyor. Amaç odaklı ve daha ucuz bir model, klinik kalite puanlamasında önde gelen hakemlerle gerçekten eşit seviyeye ulaşabilirse, sağlık sektöründe yapay zeka güvenlik izlemesinin yaygınlaşmasını sağlayabilir. 73–294 kat maliyet düşüşü ve 7–57 kat hızlanma, binlerce değerlendirme yürüten ekipler için operasyonel açıdan büyük önem taşıyor.Automated evaluation of clinical AI outputs is facing a bottleneck due to the high costs and latency of leading LLM judges. This situation makes large-scale evaluations unfeasible for most hospitals and research groups. If a purpose-built, more affordable model can truly match the performance of leading judges in clinical quality scoring, it could enable the widespread adoption of AI safety monitoring in the healthcare sector. A 73–294x cost reduction and a 7–57x speedup are operationally significant for teams running thousands of evaluations.

Öne ÇıkanlarHighlights

• Jev, pediyatrik cevap kalitesinde 12 LLM hakeminden 7'sine eşit veya üstü performans gösterdi (Gwet's AC2: Jev 0.50, Claude Opus 5.5 0.49).Jev matched or outperformed 7 out of 12 LLM judges in pediatric response quality (Gwet's AC2: Jev 0.50, Claude Opus 5.5 0.49).
• Önde gelen hakemler, Jev'e kıyasla 73–294 kat daha pahalı ve 7–57 kat daha yavaş çalışıyor.Leading judges are 73–294x more expensive and 7–57x slower than Jev.
• HealthBench Professional'da Jev, referans hakem olan GPT-5.4 ile kriterlerin %91'inde eşit performans gösterdi.On HealthBench Professional, Jev demonstrated equal performance to the reference judge, GPT-5.4, on 91% of criteria.

EleştiriCritical take

Pediyatrik kıyaslama seti küçük (n=118). Jev'in Gwet's AC2 puanı 0.50 ile beklenen 0.53 puanının altında kalıyor. Bu nedenle 'eşit veya üstü' ifadesi cömert bir çerçeve çiziyor. Ayrıca dört kullanım senaryosunun tamamı yazarların kendi kıyaslama setinden geliyor. Makale, Jev'in mimarisini ve eğitim verilerini tam olarak belirtmediği için bağımsız tekrarlanabilirlik sınırlı.The pediatric benchmark set is small (n=118). Jev's Gwet's AC2 score of 0.50 falls below the expected 0.53 score. Therefore, the claim of 'equal or superior' performance draws a generous frame. Additionally, all four use cases come from the authors' own benchmark set. Independent reproducibility is limited because the article does not fully specify Jev's architecture and training data.