Büyük dil modellerinde blok seçimi Ising modeliyle çözüldüBlock selection in large language models solved with the Ising model

Araştırma, transformer bloklarının çıkarılmasını manyetik spin etkileşimlerini modelleyen bir enerji minimizasyonu problemine dönüştürüyor. Bu yaklaşım, Llama-3.3-70B modelinde %50 sıkıştırma düzeyinde MMLU skorunu rakip yöntemlere göre neredeyse 23 puan artırarak derin sıkıştırma performansını iyileştiriyor.The research transforms the pruning of transformer blocks into an energy minimization problem that models magnetic spin interactions. This approach improves deep compression performance by increasing the MMLU score by nearly 23 points compared to competing methods at a 50% compression level in the Llama-3.3-70B model.