Baidu, 280 milyar parametreli ERNIE 5.5 Flash Base modelini yayınladıBaidu releases 280-billion-parameter ERNIE 5.5 Flash Base model

ÖzetSummary

Baidu, 280 milyar parametreli MoE mimarisine sahip ERNIE 5.5 Flash Base modelini açık kaynak yaptı. Token başına 14 milyar aktif parametre kullanan bu model, 33,5 trilyon token üzerinde ön eğitimden geçirildi ve 1 milyon tokenluk bağlam penceresi sunuyor. Şirket, yaklaşan tam sürüm olan 'ERNIE 5.5 Flash' için maliyet etkin bir temel oluşturmayı hedefliyor.Baidu has open-sourced the ERNIE 5.5 Flash Base model, featuring a 280-billion parameter MoE architecture. Utilizing 14 billion active parameters per token, the model was pre-trained on 33.5 trillion tokens and offers a 1-million-token context window. The company aims to establish a cost-effective foundation for the upcoming full release, 'ERNIE 5.5 Flash.'

Neden ÖnemliWhy it matters

1 milyon tokenluk bağlam penceresine sahip 280 milyar parametreli bir MoE taban modelini açık ağırlıklı bir varlık olarak yayınlamak, DeepSeek, Tencent ve diğerleriyle olan açık model yarışını kızıştırıyor. Bu hamle, geliştiricilere mülkiyet kısıtlaması olmadan büyük ölçekli bir başlangıç noktası sunuyor. Aşağı akış ince ayar ve çıkarım maliyetlerini en aza indirme hedefi, uzun bağlam yeteneğinin bir eklenti değil, varsayılan bir özellik haline geldiğine işaret ediyor. Tam sürümün, talimat ayarlı versiyonunun yakında geleceği sözü verildiğinden, bu taban sürüm nihai ürün değil, ilk perde olarak okunmalı.Releasing a 280-billion parameter MoE base model with a 1-million-token context window as an open-weight asset intensifies the open-model race with DeepSeek, Tencent, and others. This move provides developers with a large-scale starting point without ownership restrictions. The goal of minimizing downstream fine-tuning and inference costs signals that long-context capability is becoming a default feature rather than an add-on. Since a full version with an instruction-tuned variant is promised to arrive soon, this base version should be read as the first act rather than the final product.

Öne ÇıkanlarHighlights

• 33,5 trilyon token üzerinde ön eğitimden geçirilen 280 milyar toplam / 14 milyar aktif parametreli MoE mimarisi280-billion total / 14-billion active parameter MoE architecture pre-trained on 33.5 trillion tokens
• Çıkarım ve ince ayar için taban modele yerleştirilen 1 milyon tokenluk bağlam penceresi1-million-token context window embedded in the base model for inference and fine-tuning
• Kendi kendine raporlanan kıyaslamalar, benzer ölçekli DeepSeek-V4-Flash-Base, Hy3-preview-Base ve MiMo-V2.5-Base modellerini geride bıraktığını iddia ediyorSelf-reported benchmarks claim it outperforms similarly scaled models like DeepSeek-V4-Flash-Base, Hy3-preview-Base, and MiMo-V2.5-Base

EleştiriCritical take

Tüm performans iddiaları, Baidu'nun kendi kıyaslama tablosuna ve modeli 'boyutuna göre SOTA' olarak nitelendiren tek bir tweet'e dayanıyor. Makalede bağımsız bir değerlendirme, 1 milyon tokenluk bağlam penceresi için ablasyon çalışması veya lisanslama ve hesaplama maliyeti detayları bulunmuyor. Üçüncü taraf kopyalamalar yetişene kadar 'üstün' çerçevesi, temelde satıcı pazarlaması olarak kalıyor.All performance claims rely on Baidu's own benchmark table and a single tweet describing the model as 'SOTA for its size.' The article lacks independent evaluation, ablation studies for the 1-million-token context window, or details on licensing and computational costs. Until third-party reproductions are available, the 'superior' framing remains essentially vendor marketing.