AMD, Taalas'ı satın alarak yapay zeka ağırlıklarını çipe entegre ediyorAMD integrates AI weights onto the chip by acquiring Taalas

ÖzetSummary

AMD, yapay zeka model ağırlıklarını doğrudan özel çiplere yerleştirerek çıkarım gecikmesini, güç tüketimini ve donanım maliyetini düşüren Kanada merkezli Taalas'ı satın almak için nihai anlaşmayı imzaladı. Anlaşma, düzenleyici onay bekliyor ve AMD'nin Instinct GPU, EPYC ve ROCm yığınına entegre edilecek.

Neden ÖnemliWhy it matters

Yapay zeka hesaplama harcamalarının büyük bölümü eğitimde değil, çıkarım aşamasında yapılıyor. Ağırlıkların HBM ile hesaplama die'si arasında taşınmasından kaynaklanan bellek bant genişliği darboğazı, birincil maliyet sürücüsü. Ağırlıkları çipin kendisine gömmek, bu darboğazı mimari düzeyde ele alıyor ve orta ölçekli modellerin büyük ölçekte sunulmasının ekonomisini yeniden şekillendirebilir. AMD için bu hamle, yapay zeka hikâyesini 'daha büyük GPU' anlayışının ötesine taşıyarak gerçekten farklı bir hesaplama paradigmine açılıyor.

Öne ÇıkanlarHighlights

• Taalas, HC1 demo çipinde 8B parametreli Llama 3.1 modeli için geleneksel yöntemlere kıyasla kullanıcı başına ~17.000 token/s, 1/20'si üretim maliyeti ve 1/10'u güç tüketimi iddia ediyor.
• Modelden çipe dönüşüm yaklaşık iki ay sürüyor; ancak ortaya çıkan çip o modele kilitleniyor. İnce ayar için LoRA adaptörleri destekleniyor.
• Birinci nesil, GPU çalıştırmasına kıyasla kabul edilen kalite kaybıyla 3-bit/6-bit niceleme kullanıyor; ikinci nesil standart 4-bit kayan nokta formatına geçecek.

EleştiriCritical take

Tüm başlık performans ve maliyet verileri, tek bir 8B parametreli demo çipinde Taalas tarafından sağlanıyor; bağımsız kıyaslama veya üçüncü taraf doğrulaması yok. Birinci nesilde model kilitleme ödünleşimi ve kabul edilen niceleme kalite kaybı, 'GPU'nun yerini alan çözüm' iddiasının üretim gerçekliğinden hâlâ uzak olduğunu gösteriyor.