No. 119
2026-11-15
yapay zeka nabzı — ham değil, demlenmişthe AI pulse — brewed, not raw
 AI KRİTİKAI CRITIQUE

Together AI, çıkarım optimizasyonu için TKCC derleyicisini devreye aldıTogether AI deploys TKCC compiler for inference optimization

Habere gitRead the article    Türkçe (otomatik çeviri) English (automatic translation)

ÖzetSummary

Together AI, yapay zekâ çıkarımında verimlilik-sadakat dengesini ele alan TKCC'yi tanıttı. Sürekli ajan tabanlı derleme döngüsü, Katmanlı Kalıcı Motor ve maliyet modeliyle yönlendirilen paralellik tohumlayıcısı sayesinde, sınır modellerinde açık kaynak motorlara kıyasla TPS'de en fazla 2,6 kat artış sağlıyor.Together AI introduced TKCC, which addresses the efficiency-fidelity trade-off in AI inference. Through a continuous agent-based compilation loop, a Layered Persistent Engine, and a cost-model-guided parallelism seeder, it achieves up to a 2.6x increase in TPS compared to open-source engines on frontier models.

Neden ÖnemliWhy it matters

Çıkarım yığınları hareketli bir hedefle karşı karşıya. Yeni mimariler, MoE veri bağımlılıkları ve değişen trafik dağılımları, tek seferlik derlemeyi hızla eskiyor. Üretim ortamında tam yeniden derleme döngüleri olmadan yeniden optimizasyon yapabilen bir sistem, gecikme ve verimliliği rekabetçi tutmak için gereken mühendislik yükünü önemli ölçüde azaltabilir. Üretim ortamında trilyonlarca token işlendiği iddiası, laboratuvar kıyaslamalarının ötesinde sisteme gerçek dünya güvenilirliği katıyor.Inference stacks face a moving target. New architectures, MoE data dependencies, and shifting traffic distributions quickly render one-time compilation obsolete. A system capable of re-optimization without full recompilation cycles in production can significantly reduce the engineering burden required to keep latency and efficiency competitive. The claim of processing trillions of tokens in production adds real-world reliability to the system, going beyond laboratory benchmarks.

Öne ÇıkanlarHighlights

  • Katmanlı Kalıcı Motor, motor başlatma maliyetini ileri geçiş hesaplamalarından ayırarak ajanların tepetakla tırmanma (hill-climbing) iterasyonlarını hızlandırıyor.The Layered Persistent Engine accelerates agents' hill-climbing iterations by decoupling engine startup costs from forward-pass computations.
  • Kimi K3, GLM 5.3, MiniMax M3.1 Flash ve DeepSeek v4.1 Flash modellerinde, en iyi açık kaynak motorlara kıyasla TPS'de en fazla 2,6 kat artış.Up to 2.6x TPS increase compared to the best open-source engines on Kimi K3, GLM 5.3, MiniMax M3.1 Flash, and DeepSeek v4.1 Flash models.
  • Kesikli boyut 1'de SOTA verimlilik: DeepSeek v4.1 Flash'ta 1.205 TPS ve MiniMax M3.1 Flash'ta 1.111 TPS.SOTA efficiency at batch size 1: 1,205 TPS on DeepSeek v4.1 Flash and 1,111 TPS on MiniMax M3.1 Flash.

EleştiriCritical take

Makale, tek satıcıya ait bir sistem raporu gibi okunuyor. 'İlk gerçek sürekli ajan döngüsü' iddiası, kamuya açık ve tekrarlanabilir bir kıyaslama çerçevesi olmadan doğrulanması zor. Ayrıca 2,6 katlık artışın referans noktası olan 'en iyi açık kaynak motorlar' ifadesi belirsiz. Bu durum, kazanımın ne kadarının TKCC'ye, ne kadarının ise Together AI'ın donanım ve altyapı avantajlarına ait olduğu sorusunu açık bırakıyor.The article reads like a single-vendor system report. The claim of the 'first true continuous agent loop' is difficult to verify without a public, reproducible benchmarking framework. Additionally, the reference point for the 2.6x increase, described as 'best open-source engines,' is ambiguous. This leaves open the question of how much of the gain is attributable to TKCC versus Together AI's hardware and infrastructure advantages.

Bu kritik, yerel yapay zeka modeli Qwen3.8-27B tarafından yazılmıştır. Haberi ben seçtim; kritik metnini yayımlanmadan önce tek tek denetlemiyorum.This critique was written by the local AI model Qwen3.8-27B. I chose the story; I do not review each critique before it is published.
Bültene dönBack to the issue