IBM: Aynı modelde ajan iskeleti, görev tamamlamayı %30'dan %81'e çıkardıIBM: Agent scaffolding on the same model boosted task completion from 30% to 81%

ÖzetSummary

IBM, CUGA, Hermes ve Deep Agents olmak üzere üç ajan iskelesini aynı GLM-5.3-flash modeli üzerinde 90 AppWorld görevinde kıyasladı. Sırasıyla %81, %47 ve %30 görev tamamlama oranları raporlandı. IBM, iskele mimarisinin modelin kendisi kadar önemli olduğunu savunuyor.IBM compared three agent scaffolds—CUGA, Hermes, and Deep Agents—on the same GLM-5.3-flash model across 90 AppWorld tasks. Task completion rates were reported as 81%, 47%, and 30%, respectively. IBM argues that scaffold architecture is as critical as the model itself.

Neden ÖnemliWhy it matters

Ekosistemde artık yaklaşık 200 ajan iskelesi var. Ekipler, trend olan modele körü körüne güvenmek yerine iskeleyi iş yüküne göre eşleştirecek ilkeli bir yönteme ihtiyaç duyuyor. Görev ayrıştırma, çalıştırma öncesi doğrulama ve sayfalama denetimi gibi iskele bileşenlerinin tek başına 51 puanlık bir fark yaratması, 'ajan güvenilirliği' açığının büyük ölçüde bir mühendislik sorunu olduğunu gösteriyor. Bu bir model yetenek sorunu değil. Ödeme, CRM veya PII hassasiyeti yüksek sistemlerde ajan devreye alan işletmeler için, istem düzeyindeki kurallar ile çalışma zamanında zorlanan politikalar arasındaki fark, bir kılavuz ile bir garanti arasındaki farktır.The ecosystem now hosts approximately 200 agent scaffolds. Teams need a principled method to match scaffolds to workloads rather than blindly trusting trending models. The fact that scaffold components like task decomposition, pre-execution validation, and pagination control alone create a 51-point gap indicates that the 'agent reliability' gap is largely an engineering issue, not a model capability one. For enterprises deploying agents in systems with high sensitivity to payments, CRM, or PII, the difference between prompt-level rules and runtime-enforced policies is the difference between a guideline and a guarantee.

Öne ÇıkanlarHighlights

• Aynı model, üç iskele: AppWorld'de %81'e karşı %47'ye karşı %30 görev tamamlama; senaryo düzeyinde tutarlılık (SGC) farkı 20'ye karşı 8'e karşı 2 ile daha da genişSame model, three scaffolds: 81% vs. 47% vs. 30% task completion on AppWorld; the scenario-level consistency (SGC) gap widens further at 20 vs. 8 vs. 2
• CUGA'nın üstünlüğü daha güçlü bir modelden değil; ayrıştır, kum havuzunda CodeAct, çalıştırma öncesi doğrula, otomatik yansıt, sayfalama denetimi döngüsünden geliyorCUGA's superiority stems not from a stronger model, but from a cycle of decomposition, CodeAct in a sandbox, pre-execution validation, automatic reflection, and pagination control
• Politika katmanı (Intent Guard, Tool Approval, ToolGuard, Output Formatter) kuralları sistem isteminde değil, çalışma zamanında zorlar. Böylece model halüsinasyonu veya istem enjeksiyonu bu kuralları geçersiz kılamazThe policy layer (Intent Guard, Tool Approval, ToolGuard, Output Formatter) enforces rules at runtime rather than in the system prompt, ensuring that model hallucinations or prompt injections cannot bypass these controls

EleştiriCritical take

Bu, IBM'in kendi laboratuvarında kendi ürününü test etmesidir. 'Kontrollü deney' aslında tam olarak kontrollü değildir. CUGA, görev ayrıştırma, doğrulama, yansıma ve sayfalama denetimi ile çalışırken diğer iki iskele daha sade MCP araç yapılandırmalarını kullandı. Bu nedenle 51 puanlık farkın bir kısmı, temel mimari bir üstünlükten ziyade sadece daha fazla özelliğin etkinleştirilmesinden kaynaklanıyor. 90 görevlik tek kıyaslama örneği, puanlanan çalıştırmalarda politika uygulamasının bulunmaması ve Hugging Face topluluk blogu gibi bir yayın mecrası, şüpheci bir okuyucunun başlık sayıya vereceği ağırlığı sınırlıyor.This is IBM testing its own product in its own lab. The 'controlled experiment' is not entirely controlled. While CUGA utilized task decomposition, validation, reflection, and pagination control, the other two scaffolds used simpler MCP tool configurations. Therefore, part of the 51-point difference likely comes from enabling more features rather than a fundamental architectural superiority. A single benchmark of 90 tasks, the absence of policy enforcement in the scored runs, and the publication venue—a Hugging Face community blog—limit the weight a skeptical reader should place on the headline numbers.