İnsan hipokampusu, büyük dil modelleriyle benzer semantik kodlamayı kullanıyorHuman hippocampus uses similar semantic coding as large language models

ÖzetSummary

Araştırmacılar, anlatısal konuşma sırasında hipokampal nöronları kaydetti. Nöron popülasyonundaki aktivitenin, kelime anlamlarını dağıtık ve bağlama duyarlı bir biçimde kodladığını tespit ettiler. Bu aktivitenin geometrik yapısı, yani mesafe ilişkileri, büyük dil modellerinin (LLM) gömme uzaylarıyla büyük ölçüde örtüşüyor. En güçlü uyum GPT-2 vektörleriyle sağlanıyor.Researchers recorded hippocampal neurons during narrative speech. They found that activity in the neuronal population encodes word meanings in a distributed and context-sensitive manner. The geometric structure of this activity, specifically the distance relationships, largely overlaps with the embedding spaces of large language models (LLMs). The strongest alignment is achieved with GPT-2 vectors.

Neden ÖnemliWhy it matters

Bu bulgu, belirli bir beyin bölgesinin kodlama şeması ile transformer tabanlı dil modellerinin temsil geometrisi arasında çizilen en doğrudan ampirik köprülerden biri. LLM'lerin insanın anlamı işleme biçimiyle ilgili gerçek bir şeyi yakaladığı fikrine biyolojik bir olasılık katıyor. Hipokampusu yalnızca bir bellek deposu olarak değil, gerçek zamanlı dil anlama sırasında aktif bir semantik kodlayıcı olarak yeniden konumlandırıyor. Bu durum, hem bilişsel teori hem de LLM'lerin yorumlanabilirliği açısından önemli sonuçlar doğuruyor.This finding represents one of the most direct empirical bridges drawn between the coding scheme of a specific brain region and the representational geometry of transformer-based language models. It adds biological plausibility to the idea that LLMs capture something real about how humans process meaning. It repositions the hippocampus not merely as a memory store, but as an active semantic encoder during real-time language comprehension. This has significant implications for both cognitive theory and the interpretability of LLMs.

Öne ÇıkanlarHighlights

• Nöron popülasyonu mesafesi, semantik mesafeyi izliyor. Fonem ve dilbilgisi değişkenleri kontrol edildikten sonra bile bu ilişki, LLM gömme geometrisiyle paralel seyrediyor.Neuronal population distance tracks semantic distance. This relationship remains parallel to LLM embedding geometry even after controlling for phoneme and grammar variables.
• Uyum, daha yeni ve büyük modellerden ziyade GPT-2 ile zirve yapıyor. Yanıt değişkenliği, LLM'den türetilen çok anlamlılık puanlarıyla paralel gidiyor. Bu durum, bağlama bağımlı bir kodlamayı işaret ediyor.Alignment peaks with GPT-2 rather than newer, larger models. Response variability parallels polysemy scores derived from the LLM. This indicates context-dependent coding.
• Semantik olarak benzer kelimeler için bağlamsal gömme modellerinde, nöronal-semantik mesafe korelasyonu *ters* yönde seyrediyor. Yazarlar bu durumu, karşıtlık kodlamasının gürültü azaltma faydasına bağlıyor.For semantically similar words in contextual embedding models, the neuronal-semantic distance correlation moves in the *inverse* direction. The authors attribute this to the noise-reduction benefits of contrastive coding.

EleştiriCritical take

GPT-2 ile sağlanan uyum dikkat çekici olsa da bir uyarı niteliği taşıyor. GPT-2, 2019 tarihli ve 1,5 milyar parametreli bir model. 'En yakın eşleşme' ifadesi, görevin basitliğinden, yani anlatıyı pasif dinlemeden kaynaklanıyor olabilir. Bu durum, en son nesil LLM'lerle derin bir hesaplama izomorfizmi anlamına gelmeyebilir. Benzer kelimeler için gözlemlenen ters korelasyon, 'karşıtlık kodlamasının gürültü azaltma faydası' şeklinde tek bir cümleyle açıklanıyor. Bu açıklamada, hipokampal toplulukta yanıt doygunluğu veya kayıt gürültüsü gibi daha basit karışık etkenleri dışlayacak resmi bir model veya kontrol bulunmuyor.While the alignment achieved with GPT-2 is striking, it carries a caveat. GPT-2 is a 2019 model with 1.5 billion parameters. The 'closest match' expression may stem from the simplicity of the task, i.e., passive listening to narratives. This does not necessarily imply a deep computational isomorphism with the latest generation of LLMs. The observed inverse correlation for similar words is explained in a single sentence as the 'noise-reduction benefit of contrastive coding.' This explanation lacks a formal model or control to rule out simpler confounding factors, such as response saturation or recording noise in the hippocampal population.