Thinking Machines Lab, Inkling-Small'ı Açık Ağırlıkla Yayınladı: 1/4 Boyutta Inkling PerformansıThinking Machines、軽量モデル「Inkling-Small」正式公開 サイズ4分の1で「Inkling」に匹敵する性能

ÖzetSummary

Thinking Machines Lab, Inkling'in dörtte biri boyutunda olan hafif bir multimodal MoE Transformer'ı Inkling-Small adıyla piyasaya sürdü ve yine de bir dizi kıyaslamada karşılaştırılabilir ya da üstün performans sergiliyor.Thinking Machines Lab released a lightweight multimodal MoE Transformer called Inkling-Small, which is one-quarter the size of Inkling yet delivers comparable or superior performance across a range of benchmarks.

Neden ÖnemliWhy it matters

Model, parametre sayısını küçültürken performansı korumanın mümkün olduğunu gösteriyor ve bu da araştırmacılar ile işletmeler için giriş engelini düşürebilir. Apache 2.0 lisansı altında açık ağırlıklı sürümü, topluluk odaklı yeniliği teşvik ediyor ve daha düşük donanım gereksinimleri sayesinde dağıtımı daha erişilebilir kılıyor.The model demonstrates that it is possible to reduce the number of parameters while preserving performance, potentially lowering entry barriers for researchers and businesses. Its open-weight version under the Apache 2.0 license encourages community-driven innovation, and its reduced hardware requirements make deployment more accessible.

Öne ÇıkanlarHighlights

• Inkling-Small, toplamda 2.76 trilyon parametreye sahipken yalnızca 120 milyar aktif MoE uzmanına sahiptir ve Humanity's Last Exam gibi kıyaslamalarda Inkling'den daha yüksek puanlar elde ediyor (31.6% vs 29.7%).Inkling-Small has a total of 2.76 trillion parameters but only 120 billion active MoE experts, and it outperforms Inkling on benchmarks like Humanity's Last Exam (31.6% vs 29.7%).
• Eğitim iyileştirmeleri, politika içinde damıtma ve ajan kodlaması için iki haftalık pekiştirmeli öğrenme dahil olmak üzere, performans artışına katkıda bulundu.Training enhancements—including policy distillation and two weeks of reinforcement learning for agent coding—contribute to the performance gains.
• Modelin donanım ayak izi dramatik şekilde daha küçüktür: bir BF16 kontrol noktası Inkling'in 2TB'sine kıyasla sadece 600GB GPU belleğinde çalışırken, kuantize edilmiş versiyon yalnızca 180GB gerektirir.The model's hardware footprint is dramatically smaller: a BF16 checkpoint runs on just 600GB of GPU memory compared to Inkling's 2TB, and the quantized version requires only 180GB.

EleştiriCritical take

Inkling-Small hız ve verimlilikte üstünlük sağlarken, makale Inkling'in hâlâ bilgi kapsamı ve gerçek doğruluk açısından bir avantaj taşıdığını belirtiyor; bu da model boyutu ile kapsamlı anlayış arasında bir denge olduğunu gösteriyor.While Inkling-Small excels in speed and efficiency, the paper notes that Inkling still holds an advantage in knowledge coverage and factual accuracy; this highlights a trade-off between model size and comprehensive understanding.