Qwen, E-Commerce Bench ile uzun vadeli otonom işletme kıyaslamasını yayınladıQwen Releases E-Commerce Bench for Long-Term Autonomous Business Benchmarking

ÖzetSummary

Qwen (Alibaba), E-Commerce Bench adlı kıyaslamayı yayımladı. Bu kıyaslamada yapay zeka ajanları, gerçek e-ticaret verilerinden oluşturulan bir pazarda 365 gün boyunca sanal bir çevrimiçi mağazayı yönetiyor. Ajanlar 100.000 ¥ başlangıç sermayesiyle tedarik, fiyatlandırma, envanter ve nakit akışını yönetiyor. Çalışmanın temel bulgusu, test edilen modellerin neredeyse hiçbirisinin yıl boyunca satın alma veya stratejik kararlarını iyileştirememesi.Qwen (Alibaba) released the E-Commerce Bench benchmark. In this evaluation, AI agents manage a virtual online store for 365 days in a market built from real e-commerce data. Agents start with ¥100,000 in capital and manage procurement, pricing, inventory, and cash flow. The key finding is that almost none of the tested models improved their purchasing or strategic decisions over the course of the year.

Neden ÖnemliWhy it matters

Uzun vadeli, çok adımlı işletme operasyonları, mevcut büyük dil modeli (LLM) ajanlarının en belirgin şekilde zorlandığı alan. Dolandırıcılar, depolama ücretleri ve itibar mekanizmaları içeren 365 günlük bir simülasyon, değerlendirmeyi tek turlu soru-cevap kıyaslamalarının çok ötesine taşıyor. Tek bir kâr rakamı yerine yedi eksende puanlama, agresif fiyatlandırma ile envanter riski gibi ödünleşimleri ortaya koyuyor. Tek metrikli bir sıralama tablosu bu farkları gizlerken, bu yaklaşım araştırmacılara otonom ticaret ajanlarının hâlâ nerede yetersiz kaldığına dair daha dürüst bir tablo sunuyor.Long-term, multi-step business operations are the area where current large language model (LLM) agents struggle most visibly. A 365-day simulation including scammers, storage fees, and reputation mechanisms moves evaluation far beyond single-turn question-answering benchmarks. Scoring across seven axes, rather than a single profit figure, reveals trade-offs such as aggressive pricing versus inventory risk. While a single-metric leaderboard hides these nuances, this approach offers researchers a more honest picture of where autonomous trading agents still fall short.

Öne ÇıkanlarHighlights

• Simüle edilen pazarda 6.886 ürün, 576 tedarikçi (bunlardan 152'si dolandırıcı), 600 dakikalık çalışma günleri, depolama ücretleri, iadeler ve itibar mekanizması rol oynuyor.The simulated market features 6,886 products, 576 suppliers (152 of which are scammers), 600-minute workdays, storage fees, returns, and a reputation mechanism.
• Neredeyse hiçbir model, 365 günlük tam zaman dilimi boyunca daha ucuz satın almayı veya stratejisini iyileştirmeyi öğrenemiyor.Almost no model learned to buy cheaper or improve its strategy over the full 365-day period.
• Yedi eksenli değerlendirme, hiçbir tek modelin tüm boyutlarda baskın olmadığını gösteriyor. Bu durum, net bir kazanan yerine parçalı güçlü yönleri öne çıkarıyor.The seven-axis evaluation shows that no single model dominates across all dimensions, highlighting fragmented strengths rather than a clear winner.

EleştiriCritical take

Kıyaslama, Qwen/Alibaba tarafından kendi kendine yayımlandı. Kaynak sitedeki 57/100 editoryal puan, sınırlı bağımsız doğrulamaya işaret ediyor. Üçüncü taraf bir tekrar test veya altı ikincil eksen için net bir değerlendirme rubriği yoksa, 'hiçbir model baskın değil' sonucunun bir kısmı, yazarların kendi modelini avantaja sokan kıyaslama tasarım tercihlerinden kaynaklanıyor olabilir. Ayrıca gerçek veriyle tohumlanmış olsa bile, simüle edilmiş bir pazar, gerçek e-ticaretin düşmanca, gürültülü ve yasal kısıtlara tabi doğasını tam olarak yansıtamaz. Bu nedenle 365 günlük sonuçlar, gerçek dünya uygulanabilirliğinin kanıtı değil, bir stres testi olarak okunmalı.The benchmark was self-published by Qwen/Alibaba. The 57/100 editorial score on the source site indicates limited independent verification. Without a third-party re-test or a clear evaluation rubric for the six secondary axes, the conclusion that 'no model dominates' may partly stem from benchmark design choices that favor the authors' own model. Additionally, even if seeded with real data, a simulated market cannot fully reflect the adversarial, noisy, and legally constrained nature of real e-commerce. Therefore, the 365-day results should be read as a stress test, not proof of real-world applicability.