Meta'nın 816 milyar parametreli modeli Mac Studio'da çalışıyorMeta's 816-billion-parameter model runs on Mac Studio

ÖzetSummary

Meta, Muse Spark Open adlı 816 milyar parametreli uzman karışımı (MoE) modelini yayımladı. Model, Apple'ın MLX çerçevesi üzerinden iki Mac Studio M5 Ultra makinesinde çalışıyor. Her iki şirket de bu süreci, beş yıllık açık düşmanlığın ardından nadir bir mühendislik iş birliği olarak nitelendiriyor.

Neden ÖnemliWhy it matters

Bu hamle, veri merkezi olmadan masaüstü donanımda sınır ölçeğinde çıkarımın sınırlarını zorluyor. Bu durum, yerel yapay zeka ve veri egemenliği argümanını güçlendiriyor. Apple için ise bu, kendi silikonunu ve MLX ekosistemini, bir sınır modelini kendisinin eğitme maliyeti olmadan doğruluyor. 2021'deki iOS gizlilik anlaşmazlığından bu yana düşmanca bir ilişki içinde olan Meta ve Apple arasındaki bu açık buz çözme, yapay zeka rekabetinin kökleşmiş kurumsal rakiplikleri bile nasıl şekillendirdiğinin sinyali.

Öne ÇıkanlarHighlights

• Toplam 816 milyar parametre, ancak token başına yalnızca 42 milyar aktif parametre; yerel olarak çok modlu (girdi: metin, görsel, ses, video; çıktı: metin); 1 milyon tokenluk bağlam penceresi; kodlama ve uzun vadeli ajansal görevlere yönelik
• Apple, dört M5 Ultra biriminde 36,7 token/sn ölçtü; Hugging Face kartı ayrıca, 2 bit niceleme ile tek bir M3 Ultra 512 GB makinesinde yaklaşık 18 token/sn hızda çalıştığını gösteriyor
• Yayınlanan kıyaslama sıfır—Meta'nın 'ABD'nin en yetenekli açık ağırlıklı modeli' iddiası, duyuru anında henüz erişilebilir olmayan bir değerlendirme raporuna işaret ediyor

EleştiriCritical take

Yayınlanan kıyaslama puanı olmayan, duyuru gününde stokta bile bulunmayan ve 10.000 doların üzerinde donanım gerektiren bir model, ürün lansmanından çok bir kavram kanıtı gibi okunuyor. 'İş birliği'nde ortak bir basın bülteni yok, ticari koşullar yok ve Apple'ın teknik raporunda Meta bir ortak olarak anılmıyor. Dolayısıyla siyasi çerçeve, mühendislikten çok daha fazla iş görüyor.