Daha fazla veri simetriyi kıramaz: Tasarımda tanımlanabilirlikMore Data Cannot Break a Symmetry: Identifiability by Design

ÖzetSummary

Makale, simetrik uyarıcı tasarımlarının (ör. eşit aralıklı renkler) denetimsiz temsil hizalamasında aşırılamayan temel bir tanımlanabilirlik tavanı yarattığını gösteriyor. Bu tavanı ne ek veri ne de çözümleyici yeniden başlatmaları aşabiliyor. Çalışma, veri toplama başlamadan önce bu tür dejeneratif geometrileri önlemek için düşük maliyetli bir tasarım aşaması tanısı öneriyor.The article demonstrates that symmetric stimulus designs (e.g., equally spaced colors) create a fundamental identifiability ceiling in unsupervised representation alignment that cannot be overcome. Neither additional data nor decoder reinitializations can surpass this limit. The study proposes a low-cost design-stage diagnostic to prevent such degenerate geometries before data collection begins.

Neden ÖnemliWhy it matters

Makale, bilinen bir değişmezliği (Demetci vd., 2024) tek bir fonksiyon çağrısı maliyetiyle pratik bir ön-deneysel kontrole dönüştürüyor. Bu sayede araştırmacılar, aylarca süren başarısız hizalama çalışmalarıyla uğraşmaktan kurtulabilir. Model ayrımı ile eşleşme kurtarmanın temelde korelasyonsuz olduğu (r = −0,02) bulgusu, temsil öğrenme kıyaslamalarındaki yaygın bir varsayımı sorgulatıyor. Simetri argümanı renk ötesinde yönelim, ton veya harekete de genellenirse, psikofizik ve sinir kod çözme deneylerinin tasarımı yeniden şekillenebilir.The paper transforms a known invariant (Demetci et al., 2024) into a practical pre-experimental control with a single function call cost. This allows researchers to avoid months of failed alignment efforts. The finding that model separation and alignment recovery are fundamentally uncorrelated (r = −0.02) challenges a common assumption in representation learning benchmarks. If the symmetry argument generalizes beyond color to orientation, tone, or motion, it could reshape the design of psychophysical and neural decoding experiments.

Öne ÇıkanlarHighlights

• 64 kat yeniden başlatma bütçesi simetrik renk tasarımını etkisiz bırakırken, aynı N değeriyle asimetrik bir küme her seferinde başarıyla kurtarılıyor. Bu, başarısızlığın yapısal olduğunu, rastgele olmadığını gösteriyor.A budget of 64 reinitializations fails to fix symmetric color designs, while an asymmetric cluster with the same N value is successfully recovered every time. This indicates that the failure is structural, not random.
• Yalnızca tanıya dayanarak dokuz renk seçmek (öğrenilmiş temsil danışılmadan), 93 model temsilinde felaket düzeyindeki hizalama hatalarını %75’ten %2’ye düşürüyor.Selecting nine colors based solely on the diagnostic (without consulting learned representations) reduces catastrophic alignment errors in 93 model representations from 75% to 2%.
• En ucuz kimlik dışı yeniden etiketleme, yani bariz dejenerasyon tanısı, yoğun örneklemeye yakın kopya transpozisyonlar yarattığı için iki yayımlanmış tasarımı yanlış sıralıyor.The cheapest non-identity relabeling, i.e., the obvious degeneration diagnostic, misranks two published designs because it creates near-copy transpositions similar to dense sampling.

EleştiriCritical take

Deneysel gösterim, aday geometrilerin kapalı formda ifade edilebildiği renk alanıyla sınırlı. Yönelim, ton veya harekete genişletme bir risk olarak iddia ediliyor ancak test edilmiyor. Bu nedenle genellenebilirlik iddiası kanıta değil, analojiye dayanıyor. Ayrıca, çarpıcı %75’ten %2’ye iyileşme, tüm modeller, katmanlar, N değeri ve çözümleyici sabit tutularak ölçüldü. Bu durum, tanının daha gerçekçi ve heterojen deneysel akışlarla nasıl etkileşime girdiğini belirsiz bırakıyor.The experimental demonstration is limited to the color space, where candidate geometries can be expressed in closed form. Generalization to orientation, tone, or motion is claimed as a risk but not tested. Therefore, the generalizability claim relies on analogy rather than evidence. Additionally, the striking improvement from 75% to 2% was measured while keeping all models, layers, N values, and decoders fixed. This leaves unclear how the diagnostic interacts with more realistic and heterogeneous experimental workflows.