Büyük dil modelleri, kurumsal veride ölçeklenebilir anlık analizi otomatikleştiriyorBatchDAG: LLM-Planned Execution Graphs for Scalable Ad-Hoc Analysis Over Enterprise Data

ÖzetSummary

BatchDAG, SQL, anlamsal arama, bellek içi dönüşümler ve paralel dallanma gibi tipli işlemlerden oluşan, LLM tarafından planlanan yönlü döngüsüz bir graf (DAG) öneriyor. Bu grafi deterministik bir motor, topolojik dalga paralelliğiyle yürütüyor. Sistem, sıralı LLM araç çağrılarının yetersiz kaldığı, kurumsal ölçekteki veri kümeleri üzerinde varlıklar arası analitik sorgulara odaklanıyor.

Neden ÖnemliWhy it matters

Kurumsal analitik ekipleri, tek bir LLM'ün belge düzeyindeki çıkarımları ile on binlerce kayıt üzerinde kapsamlı, çoklu varlık sorguları yapma ihtiyacı arasındaki boşlukla sürekli karşılaşıyor. BatchDAG, varlık farkında kesikli işleme (LLM çağrılarını en fazla 47 kat azaltma) ve 50 binden fazla toplantıda 60 saniyenin altındaki gecikme süresi ile sorgu başına 0,02–0,24 dolar maliyet sunuyor. Bu özellikler, sistemi bir araştırma merakı olmaktan çıkarıp pratikte devreye alınabilir bir orkestrasyon katmanına dönüştürüyor. Ayrıca LLM'ün rolünü 'cevaplayan'dan 'planlayıcı'ya kaydırıyor. Bu yaklaşım, üretim yapay zeka sistemlerinin yöneldiği noktayla uyumlu.

Öne ÇıkanlarHighlights

• Varlık farkında kesikli işleme, dallanmadan önce satırları mantıksal varlığa göre gruplandırıyor. Bu yöntem, varlık bazlı atıf yeteneğinden ödün vermeden LLM çağrılarını en fazla 47 kat azaltıyor.
• DAG düğümleri arasındaki yapılandırılmış JSON ara çıktıları, düz metin özetlerine kıyasla halüsinasyonu %27 azaltıyor. Planlayıcı, 300 çağrılık testte %98,8 geçerli DAG oranına ulaşıyor.
• 12 sorguluk kontrollü bir testte BatchDAG (3,74/5), uzman boru hattıyla (3,25/5) eşit seviyede performans gösteriyor ve ReAct ajanını (3,09/5, p<0,01) geride bırakıyor. BatchDAG'ın transkript kanıtı kaynaklanabilirliği %77 iken, taban çizgilerde bu oran %46–60 arasında.

EleştiriCritical take

Başlıca karşılaştırma yalnızca n=12 sorguya dayanıyor. %27'lik halüsinasyon azalması iddiasının p-değeri 0,107. Bu değer, geleneksel 0,05 eşiğinin oldukça üzerinde. Dolayısıyla yazarlar, istatistiksel olarak anlamsız bir etkiyi bir bulgu olarak raporluyor. Ayrıca 'uzman tasarımı boru hattı' taban çizgisi, makalenin kendisi tarafından oluşturulmuş. Makalenin kendi çerçevesi ('temel olarak bir doğruluk iyileştirmesi değil'), asıl katkının hazır bir LLM etrafında mühendislik orkestrasyonu olduğunu kabul ediyor. Bu durum, bilimsel yeniliği DAG planlaması ve kesikli işleme heuristikleriyle sınırlıyor.