ServiceNow, kurumsal ajanlar için AutoSynthData ile eğitim verisi üretiyorServiceNow generates training data for enterprise agents with AutoSynthData

ÖzetSummary

ServiceNow'un AutoSynthData aracı, bir hedef modelin kurumsal ortamda gözlemlenen başarısızlıklarını yeni ve doğrulanmış eğitim görevleri müfredatına dönüştüren bir veri hattıdır. Sistem, daha güçlü bir öğretmen modelinin doğru davranışı göstermesi ve iki aşamalı Hedefle/Çoğalt süreciyle veri kümesini ölçeklendirmesi üzerine kuruludur. Yaklaşım, EnterpriseOps Gym kıyaslamasında örneklenmiştir; model iyileştikçe müfredat da değişir.ServiceNow's AutoSynthData tool is a data pipeline that transforms failures observed in a target model's enterprise environment into a curriculum of new, verified training tasks. The system is built on a stronger teacher model demonstrating correct behavior and scaling the dataset through a two-stage Target/Expand process. This approach is exemplified in the EnterpriseOps Gym benchmark; as the model improves, the curriculum evolves.

Neden ÖnemliWhy it matters

Kurumsal ajanlar, genel yetenek eksikliklerinden değil; ortamına özgü iş akışları, araç kombinasyonları ve politika kısıtlamalarından kaynaklanan sorunlardan ötürü başarısız olur. Genel ince ayar bu alanları nadiren kapsar. AutoSynthData'nın başarısızlık odaklı ve doğrulayıcı kontrollü görev üretimi, ajanların belirli bir şirketin teknoloji yığınında güvenilir hale getirilmesindeki 'son mil' sorununu doğrudan ele alır. Kurumsal yapay zeka devreye almalarının çoğu tam da bu noktada çöker. Veri hattı ölçeklenebilirse, ajansal devreye alımları şu an sınırlayan manuel veri mühendisliği darboğazını azaltabilir.Enterprise agents fail not due to general capability gaps, but because of issues stemming from environment-specific workflows, tool combinations, and policy constraints. General fine-tuning rarely covers these areas. AutoSynthData's failure-focused and validator-controlled task generation directly addresses the 'last mile' problem of making agents reliable within a specific company's tech stack. Most enterprise AI deployments collapse precisely at this point. If the data pipeline is scalable, it can reduce the manual data engineering bottleneck currently limiting agentic deployments.

Öne ÇıkanlarHighlights

• Görevler, açık fizibilite, gerçekçilik ve zorluk kriterleri ile doğrulayıcı tutarlılığı/sağlamlığı/tamlığı gereksinimleri içeren bir üçlü (sistem spesifikasyonu, kullanıcı istemi, doğrulayıcı) olarak biçimlendirilir.Tasks are formatted as a triple (system specification, user prompt, validator) containing explicit feasibility, realism, and difficulty criteria, along with validator consistency/robustness/completeness requirements.
• 'Yetenek spesifikasyon kartı', üreticinin gördüğü veriyi temizler. Böylece üretici, doğru zayıflığı hedeflerken orijinal değerlendirme istemlerini veya yörüngelerini kopyalamaktan kaçınır.The 'capability specification card' sanitizes the data seen by the generator. This allows the generator to target the correct weakness while avoiding copying the original evaluation prompts or trajectories.
• İki aşamalı oluşturma (çekirdek örnekler için Hedefle, yeni varyantlar için Çoğalt) ile örnek düzeyinde onarım ve kesikli düzeyde inceleme, sentetik veri kümesinin hem çeşitli hem de doğrulanabilir şekilde doğru kalmasını sağlamak üzere tasarlanmıştır.Two-stage generation (Target for core examples, Expand for new variants) combined with example-level repair and discrete-level review is designed to ensure the synthetic dataset remains both diverse and verifiably correct.

EleştiriCritical take

Yazı, tam bir makale yerine blog uzunluğunda bir özet niteliğindedir. Çoğalt aşamasının tanımı cümle ortasında kesilir; nicel sonuçlar veya ablatasyon çalışmaları sunulmaz. Tüm yöntem, başarıyı güvenilir şekilde gösterebilen 'daha güçlü bir öğretmene' dayanır. Ancak makale, öğretmen modelin hata yapması ya da doğrulayıcının sağlamlık/tamlık varsayımlarının uygulamada çökmesi durumunda ne olacağına dair bir analiz sunmaz. Tek bir EnterpriseOps Gym ortamı dışına genellenebilirlik de metinde test edilmemiştir.The text reads more like a blog-length summary than a full article. The definition of the Expand stage is cut off mid-sentence; no quantitative results or ablation studies are presented. The entire method relies on a 'stronger teacher' that can reliably demonstrate success. However, the article provides no analysis of what happens if the teacher model makes errors or if the validator's robustness/completeness assumptions fail in practice. Generalizability beyond the single EnterpriseOps Gym environment is also not tested in the text.