Dual-Flow Transformer, yanıt üretiminde ek hesaplamayı yalnızca metnin sonundan itibaren etkinleştiriyorDual-Flow Transformer activates additional computation only from the end of the text during response generation

Bu yaklaşım, büyük dil modellerinin yanıt üretiminde kullanılan ek hesaplamayı önceden doldurma aşamasından bağımsızlaştırarak donanım üzerindeki toplam çıkarım maliyetini düşürür ve özellikle MoE modellerinde önceden doldurma ve devam etme maliyetleri arasında daha ince bir kontrol sağlar.This approach decouples the extra computation used in large language model response generation from the prefill stage, reducing total inference cost on hardware and providing finer control over prefilling and continuation costs, especially in MoE models.