Nick Cammarata publikuje hipotezę dotyczącą interpretowalności dużych modeli językowych
21 października 2026 · Czas czytania: 2 min
Nick Cammarata opublikował esej badawczy na stronie goodfire.com, w którym twierdzi, że trudność w interpretacji sieci neuronowych jest przeceniana. Według autora większość neuronów, nawet w ogromnych modelach, wykonuje jedno zrozumiałe zadanie, a zjawisko polisemantyczności neuronów nie wynika z superpozycji, lecz z przyczyn, które można naprawić.
Autor określa swój tekst jako roboczą hipotezę, ponieważ pełny artykuł techniczny z opisem eksperymentów nie został jeszcze wydany. W badaniach przeprowadzonych na modelu Qwen do stawiania i sprawdzania hipotez wykorzystano agentów, co oznacza, że duże modele językowe same dowodziły interpretowalności dużych modeli językowych.
Cammarata twierdzi, że słabe aktywacje stanowią drugorzędne rekurencyjne uogólnienie. Opiera to na ablacji z pomiarem średniej dokładności, gdzie usunięcie 75 procent ogona aktywacji obniżyło dokładność z 72 procent do 71 procent. Autor zauważa, że zmienia to co dziesiątą odpowiedź, jednak uznaje utracone rozróżnienia za nieistotne, ponieważ dotyczą klas, w których sieć i tak popełnia błędy.
Krytyczna analiza tych tez wskazuje, że metoda sprawdzania Cammaraty może tworzyć iluzję zachowania sprawności sieci, gdyż skupia się na typowych przypadkach, a nie na granicach klas. Niezależny eksperyment na modelu MLP-512 wykazał, że choć średnia dokładność może wzrosnąć, to w przypadkach granicznych ablacja ogona aktywacji spowodowała spadek dokładności z 93,1 procent do 72,4 procent. Oznacza to utratę niemal połowy zdolności modelu do rozróżniania bliskich przypadków ponad poziom losowego zgadywania, a pełność rozpoznawania naruszeń spadła z około 88 procent do około 44 procent.
Goodfire jest firmą komercyjną, która oferuje weryfikację dużych modeli językowych jako usługę za pomocą narzędzia silico. Pełna analiza tez Cammaraty będzie możliwa dopiero po publikacji kompletnego raportu technicznego.