2026-11-16
AI Kritik
yapay zeka nabzı — ham değil, demlenmişthe AI pulse — brewed, not raw
 AI KRİTİKAI CRITIQUE

Northwestern ve Google, Harness2 ile ajanların kendini geliştirmesini sağladıNorthwestern and Google Enable Agents to Self-Improve with Harness2

Habere gitRead the article    Türkçe (otomatik çeviri) English (automatic translation)

ÖzetSummary

Northwestern ve Google'ın Harness2 çerçevesi, ajanın iskeletini (istemler, araçlar, beceriler, bellek) yeni görevlerde cevap anahtarı olmadan kendiliğinden iyileştirmesini sağlıyor. Sistem, bir düzenleyici modelin değişiklik önermesini, bu değişiklikleri test etmesini ve yalnızca ölçülebilir şekilde fayda sağlayanları korumasına dayanıyor. Tek bir yineleme, GLM-5'in WorkBuddy-Bench puanını 11,5 puan artırarak varsayılan iskeletiyle çalışan Gemini 3.5 Flash'ı geride bıraktı.The Harness2 framework from Northwestern and Google enables an agent's skeleton (prompts, tools, skills, memory) to self-improve on new tasks without answer keys. The system relies on a regulator model proposing changes, testing them, and retaining only those that yield measurable benefits. A single iteration boosted GLM-5's WorkBuddy-Bench score by 11.5 points, surpassing Gemini 3.5 Flash operating with its default skeleton.

Neden ÖnemliWhy it matters

Manuel iskelet ayarı yavaştır ve gerçek dünyadan gelen, optimizasyon için doğru etiketlere sahip olmayan yeni bir görevle karşılaşıldığında işlevsiz hale gelir. Harness2'nin test-et ve koru döngüsü, insan müdahalesi gerektiren yeniden mühendislik olmadan görev bazlı uyarlama için pratik ve tak-çalıştır bir yol sunar. Negatif kontrol deneyi—körü körüne düzenleme yapınca kodlama puanlarının 73,4'ten 63,2'ye düşmesi—doğrulama çalıştırmasının isteğe bağlı değil, sistemin temel mekanizması olduğunu vurguluyor.Manual skeleton tuning is slow and becomes ineffective when facing new tasks from the real world that lack the correct labels for optimization. Harness2's test-and-keep cycle offers a practical, plug-and-play path for task-based adaptation without requiring human intervention for re-engineering. The negative control experiment—where blind editing caused coding scores to drop from 73.4 to 63.2—emphasizes that the validation run is not optional but a fundamental mechanism of the system.

Öne ÇıkanlarHighlights

  • Düzenleyici model iskelet düzeltmeleri önerir; yalnızca gerçek çalıştırmada davranışı iyileştiren düzenlemeler korunurThe regulator model proposes skeleton corrections; only edits that improve behavior in actual execution are retained
  • Görev düzeyindeki dersler, sonraki düzenlemeleri yönlendiren bir kütüphanede birikirTask-level lessons accumulate in a library that guides subsequent edits
  • Test çalıştırma adımının atlanması, kodlama puanlarının yaklaşık 10 puan düşmesine neden oldu; bu durum döngünün zorunluluğunu doğruladıSkipping the test run step caused coding scores to drop by approximately 10 points, confirming the necessity of the cycle

EleştiriCritical take

Kanıt, tek bir X gönderisinde özetlenen tek bir kıyaslamaya (WorkBuddy-Bench), tek bir modele (GLM-5) ve tek bir iyileştirme adımına dayanıyor. Bu nedenle sonuçların farklı görevlere, modellere ve birbiri ardına gelen yinelemelere genellenebilirliği henüz doğrulanmadı. Karşılaştırma tabanı olan 'varsayılan' iskeletle çalışan Gemini 3.5 Flash, başlıktaki kazanımı abartılı gösteren bilinçli olarak zayıf bir referans noktası.The evidence relies on a single comparison (WorkBuddy-Bench), a single model (GLM-5), and a single improvement step, as summarized in a single X post. Therefore, the generalizability of the results to different tasks, models, and consecutive iterations has not yet been verified. The comparison baseline, Gemini 3.5 Flash running with a 'default' skeleton, is a deliberately weak reference point that exaggerates the gains claimed in the headline.

Bu kritik, yerel yapay zeka modeli Qwen3.8-27B tarafından yazılmıştır. Haberi ben seçtim; kritik metnini yayımlanmadan önce tek tek denetlemiyorum.This critique was written by the local AI model Qwen3.8-27B. I chose the story; I do not review each critique before it is published.
Bültene dönBack to the issue