Dual-Flow Transformer, yanıt üretiminde ek hesaplamayı yalnızca metnin sonundan itibaren etkinleştiriyorDual-Flow Transformer activates additional computation only from the end of the text during response generation

ÖzetSummary

Dual-Flow Transformer'lar, istem doldurma hesaplamasını ek çözümleme işinden ayırarak, çekirdek ağırlıkları ve tek bir KV önbelleğini paylaşırken, yalnızca son istem tokeninden itibaren yardımcı akışı devreye alır.Dual-Flow Transformers separate the prompt-filling computation from the auxiliary decoding task, sharing core weights and a single KV cache while only activating the auxiliary flow starting from the final prompt token.

Neden ÖnemliWhy it matters

Bu tasarım, büyük dil modellerinin artan birikimli çıkarım maliyetini, istem işleme maliyetlerini artırmadan devam tahminine ekstra hesaplama ayırarak ele alıyor. Faz spesifik uzman dağıtımını mümkün kılıyor, mimariler arasında doğrulama kaybını iyileştiriyor ve istem ile çözümleme kaynak kullanımının bağımsız kontrolünü sağlıyor—çok sayıda isteği işleyen hizmetleri ölçeklendirmek için kritik.This design tackles the growing cumulative inference cost of large language models by allocating extra computation to continuation prediction without increasing prompt processing costs. It enables fine-grained expert routing, improves verification loss across architectures, and provides independent control over prompt versus decoding resource usage—critical for scaling services that handle many requests.

Öne ÇıkanlarHighlights

• Birincil akış, tüm istemi işler ve kalıcı bir KV önbelleği yazar; yardımcı akış ise doldurma sırasında atlanır ve yalnızca son istem tokeninden itibaren devreye girer.The primary flow processes the entire prompt and writes a persistent KV cache; the auxiliary flow is skipped during filling and only activates from the final prompt token onward.
• Ana dikkat mekanizması, MLP ve çıktı matrisleri akışlar arasında paylaşılır; bu sayede ağırlık yükleme maliyeti azalır ve önbellekteki anahtar/değerler gruplanmış yürütme sırasında yeniden kullanılabilir.The main attention mechanism, MLPs, and output matrices are shared across flows; this reduces weight loading costs and allows the keys/values in the cache to be reused during batched execution.
• MoE modellerinde, bu ayrım istem ve devam uzmanları için bağımsız fan-out kontrolüne izin verir; böylece doldurma maliyeti ile çözümleme kalitesi arasında bir denge ortaya çıkar.In MoE models, this separation allows independent fan-out control for prompt and continuation experts; thus balancing filling cost against decoding quality.

EleştiriCritical take

Çift token gömme ve bağlama mekanizmalarını yönetmenin getirdiği ek karmaşıklık, toplam parametre sayısını artırabilir ve eğitim boru hatlarını zorlaştırabilir; bu da iddia edilen verimlilik kazanımlarının bir kısmını dengeleyebilir.The added complexity of managing dual token embeddings and context mechanisms can increase the total parameter count and complicate training pipelines; this may offset some of the claimed efficiency gains.