DerinLens Tanı Ajanı, Küçük Modeli Çıkış Düzeyindeki LLM'lerle Rekabet EttiriyorDeepLens Diagnosis Agent: Agentic Workflow Design Lets a Small Reasoning Model Compete with Frontier LLMs

ÖzetSummary

7B parametreli bir tıbbi modelin etrafında kurgulanan beş aşamalı ajansal bir boru hattı (yapılandırılmış çıkarım, RAG ile geri getirme, kısıtlı üretim, kanıt üçgenlemesi ve denetlenebilir karar), 915 vakalık DiagnosisArena kıyaslamasında %60,14'lük ilk-1 doğruluk oranına ulaşıyor. Bu sistem, vaka başına maliyeti yaklaşık %35-45 oranında daha düşük tutarken, Claude Sonnet 4.5 ve Gemini 3.1 Pro'yu yaklaşık 9-10 puan geride bırakıyor.A five-stage agentic pipeline (structured inference, RAG retrieval, constrained generation, evidence triangulation, and auditable decision-making) built around a 7B-parameter medical model achieves a 60.14% top-1 accuracy rate in the 915-case DiagnosisArena benchmark. This system maintains per-case costs approximately 35-45% lower while outperforming Claude Sonnet 4.5 and Gemini 3.1 Pro by roughly 9-10 points.

Neden ÖnemliWhy it matters

Çalışmanın temel iddiası, disiplinli bir iş akışı tasarımının, küçük bir model ile sınır LLM'ler arasındaki tanısal akıl yürütme farkının büyük kısmını kapatabileceği yönünde. Bu bulgu, kaynakları sınırlı sağlık kurumları için doğrudan maliyet ve devreye alma sonuçları doğuruyor. 7B parametreli bir modelin yapılandırılmış istemlerle, milyarlarca parametreli API'lerle yarışabilmesi ve bunun çok daha düşük bir fiyata yapılabilmesi, sınır model aboneliklerini karşılayamayan hastanelerde tanısal yapay zekânın devreye alınmasını kolaylaştırıyor. Denetlenebilir ara çıktılara verilen önem ise yalnızca ham doğruluk oranlarının karşılayamadığı düzenleyici ve klinik güven gereksinimlerine de yanıt veriyor.The core claim of the study is that disciplined workflow design can bridge most of the diagnostic reasoning gap between a small model and frontier LLMs. This finding has direct cost and deployment implications for healthcare institutions with limited resources. The ability of a 7B-parameter model to compete with multi-billion-parameter APIs using structured prompts at a significantly lower price facilitates the adoption of diagnostic AI in hospitals that cannot afford frontier model subscriptions. Furthermore, the emphasis on auditable intermediate outputs addresses regulatory and clinical trust requirements that raw accuracy metrics alone cannot satisfy.

Öne ÇıkanlarHighlights

• Yalnızca iş akışı tasarımı, aynı 7B modelin tek atımlı modda kullanımına kıyasla +36 puanlık bir artış sağlıyor (%23,99 → %60,14).Workflow design alone provides a +36 point improvement compared to using the same 7B model in single-shot mode (23.99% → 60.14%).
• Tek bir A100 üzerinde vaka başına 0,0072 ABD doları maliyet ve 24 saniyelik gecikme; bu değerler Claude Sonnet 4.5 ve Gemini 3.1 Pro'nun maliyetlerinin altında kalıyor.Per-case cost of $0.0072 and 24-second latency on a single A100; these figures remain below the costs of Claude Sonnet 4.5 and Gemini 3.1 Pro.
• Boru hattı her aşamada yapılandırılmış ara çıktılar üretiyor; bu sayede hata konumlandırması ve denetim izleri mümkün hale geliyor.The pipeline generates structured intermediate outputs at each stage, enabling error localization and audit trails.

EleştiriCritical take

%60,14'lük ilk-1 doğruluk oranı, hâlâ her on tanının yaklaşık dördünün yanlış olduğu anlamına geliyor. Ayrıca 915 vakalık kıyaslama, yüksek riskli bir klinik iddia için mütevazı kalıyor. Üstelik çalışma, John Snow Labs'ın bir teknik raporu olup ileriye dönük klinik doğrulama, insan-döngüde testleri veya gerçek hasta verilerine dair hiçbir bilgi içermiyor. Bu nedenle 'sınır LLM'leri geride bırakıyor' ifadesi, kanıtlanmış klinik güvenlikten ziyade tek ve dar kapsamlı bir kıyaslamaya dayanıyor.A 60.14% top-1 accuracy rate still means that approximately one in every four diagnoses is incorrect. Additionally, the 915-case benchmark remains modest for such a high-risk clinical claim. Moreover, the study is a technical report by John Snow Labs and contains no information regarding prospective clinical validation, human-in-the-loop testing, or real patient data. Therefore, the claim of 'outperforming frontier LLMs' relies on a single, narrow benchmark rather than proven clinical safety.