Açık modeller yerel yapay zekayı ve dağıtık GPU ağlarını destekliyorOpen models support local AI and distributed GPU networks

ÖzetSummary

Açık ağırlıklı modeller (Llama, Qwen, DeepSeek, Mistral, Gemma), tüketici donanımında bulutsuz, yerel üretken yapay zekayı mümkün kılıyor. Far Labs ve Evolving Edge gibi girişimler ise boşta bekleyen oyun GPU'larını dağıtık çıkarım ağlarına dönüştürerek gelir elde etmeye çalışıyor. Makale, bu akran-akran GPU piyasalarının ekonomik ve güvenlik açısından ölçekli olarak kanıtlanmadığını vurguluyor.

Neden ÖnemliWhy it matters

Uç yapay zeka çalıştırımı, token başına maliyeti ortadan kaldırıyor ve veriyi cihaz üstünde tutuyor. Bu durum, bireyler ve küçük işletmeler için gerçek bir gizlilik ve maliyet avantajı sağlıyor. Dağıtık GPU modeli işe yararsa, milyonlarca boşta bekleyen tüketici kartını kullanarak çıkarım maliyetlerini dramatik biçimde düşürebilir. Ancak makale, elektrik faturaları, platform komisyonları ve doğrulanmamış gecikme iddialarının iş modelini hâlâ belirsiz kıldığını belirtiyor.

Öne ÇıkanlarHighlights

• Salad'ın 2021 geçmişi: 3,6 milyon dolar gelir elde edildi, ancak GPU sahiplerine yalnızca yaklaşık 500 bin dolar ödendi (dolar başına yaklaşık 14 sent). Bu durum, Far Labs ve Evolving Edge için dikkatli olunması gereken bir kıyaslama noktası.
• İspanya'da (yaklaşık 0,16 €/kWh) 7/24 çalışan tek bir RTX 4090, yalnızca elektrikten ayda 40 avronun üzerinde fatura üretebilir. Bu nedenle saatlik kiralama ücreti, yalnızca zarar etmemek için bu alt sınırı aşmalıdır.
• Pearl ağı olayı—faydalı yapay zeka çıktısı olmadan 320.000 GPU eşdeğeri rastgele matris işlemlerinde harcanması—'dağıtık çıkarım'ın bir duman perdesi olabileceğine dair somut bir uyarı niteliğinde.

EleştiriCritical take

Makale, Far Labs'ın 100 ms altı gecikme vaadini ve Evolving Edge'in açık kaynak düğüm kodunu ayırt edici unsurlar olarak sunuyor. Yine de ikisinin de ölçekli olarak doğrulanmadığını kabul ediyor. Ayrıca açık kaynak kodun, kurulan ikili dosyanın denetlenen kaynakla birebir aynı olduğunu garanti etmediğine dikkat çekiyor. Metin bağımsız bir değerlendirme olmaktan çok bir trend özeti niteliğinde. Token başına maliyet karşılaştırması, Salad'ın 2021 verileri dışında gerçek kullanıcı geliri verisi veya kum havuzu iddialarına yönelik somut bir tehdit modeli analizi bulunmuyor. Okuyucuda heyecan uyandırsa da, modelin ekonomik ve teknik açıdan sağlam olduğuna dair az miktarda kanıt sunuyor.