NVIDIA, terminal ajanlarda başarıyı artıran Mid-Harness yöntemini tanıttıNVIDIA Introduces Mid-Harness Method to Boost Success Rates in Terminal Agents

ÖzetSummary

NVIDIA'nın Mid-Harness makalesi, büyük dil modeli (LLM) ile terminal aracı (harness) arasına bir doğrulama adımı eklemeyi öneriyor. Sistem birden fazla aday kabuk komutu örnekliyor, bir doğrulayıcı en iyisini seçiyor ve ardından komutu çalıştırıyor. TerminalBench-Lite üzerinde, 8 aday arasından seçim yapan GPT-5.6 Sol doğrulayıcısı Pass@1 oranını %50'den %68'e çıkarıyor.NVIDIA's Mid-Harness paper proposes adding a verification step between a large language model (LLM) and a terminal tool (harness). The system samples multiple candidate shell commands, a verifier selects the best one, and then the command is executed. On TerminalBench-Lite, a GPT-5.6 Sol verifier selecting from 8 candidates increases the Pass@1 rate from 50% to 68%.

Neden ÖnemliWhy it matters

Terminal ajanları, LLM'ler için hâlâ zayıf bir nokta. Bu çalışma, modele veya araca herhangi bir değişiklik gerektirmeyen, doğrudan uygulanabilir bir test zamanı hesaplama (test-time-compute) tekniği sunuyor. Çalışmanın temel ampirik bulgusu, doğrulayıcının kalitesinin örnek sayısından çok daha önemli olduğu yönünde. Bu durum, mühendislik çabasını kaba kuvvetle örneklemekten daha iyi doğrulamaya yönlendiriyor. Bu yaklaşım, üretim ortamındaki ajan yığınları için doğrudan maliyet etkileri taşıyor.Terminal agents remain a weak point for LLMs. This study offers a directly applicable test-time compute technique that requires no changes to the model or the tool. The core empirical finding is that verifier quality is far more important than the number of samples. This directs engineering effort toward better verification rather than brute-force sampling. This approach carries direct cost implications for production agent stacks.

Öne ÇıkanlarHighlights

• TerminalBench-Lite üzerinde, 8 örneklenen eylem arasından seçim yapan güçlü bir doğrulayıcı (GPT-5.6 Sol) ile Pass@1 oranı %50'den %68'e yükseliyor.On TerminalBench-Lite, using a strong verifier (GPT-5.6 Sol) to select from 8 sampled actions raises the Pass@1 rate from 50% to 68%.
• Zayıf bir doğrulayıcı kullanıldığında örnek sayısını artırmak neredeyse hiçbir kazanç sağlamıyor. Doğrulama kalitesi darboğaz oluşturuyor.When a weak verifier is used, increasing the number of samples yields almost no gain. Verification quality is the bottleneck.
• Çiftli karşılaştırma ve damıtma (distillation) yöntemleri, küçük bir TMAX-9B modelinin kendi doğrulayıcısı olarak kullanılmasını sağlıyor. Eylem örneklemesi ile yörünge (trajectory) örneklemesinin birleştirilmesi, daha düşük token maliyetiyle tam yörünge örneklemesini geride bırakıyor.Pairwise comparison and distillation methods enable a small TMAX-9B model to serve as its own verifier. Combining action sampling with trajectory sampling outperforms full trajectory sampling at a lower token cost.

EleştiriCritical take

18 puanlık artış gerçek, ancak %32'lik bir hata oranı hâlâ mevcut. Üstelik bu sonuç, GPT-5.6 Sol gibi sınırlayıcı sınıf (frontier-class) bir doğrulayıcıya dayanıyor. Daha zayıf bir model kullanıldığında fayda hızla kayboluyor. Bu durum, her adımda üst düzey bir modeli yargıç olarak çalıştıramayan ekipler için yöntemin pratikliğini sınırlıyor. Ayrıca bu yaklaşımı 'mid-harness' mimari bir katkı olarak nitelendirmek, yeniliği abartıyor olabilir. Zira yöntem temelde örnek-doğrula-seç (sample-verify-select) desenidir. Bu desen, kod üretim hatlarında zaten yaygın olan bir yapıdır ve burada yalnızca kabuk komutları için yeniden paketlenmiştir.The 18-point increase is real, but a 32% error rate remains. Moreover, this result relies on a frontier-class verifier like GPT-5.6 Sol. The benefit quickly disappears when a weaker model is used. This limits the practicality of the method for teams that cannot afford to run a high-end model as a judge at every step. Additionally, labeling this approach a 'mid-harness' architectural contribution may overstate the novelty. The method is fundamentally a sample-verify-select pattern, which is already common in code generation pipelines and is merely repackaged here for shell commands.