निक काम्मारता का शोध निबंध बड़े भाषा मॉडलों की व्याख्यात्मकता पर नई बहस छेड़ता है

काम्मारता का यह दावा कि कमजोर सक्रियण गौण पुनरावर्ती सामान्यीकरण हैं, औसत सटीकता मापने वाले विलोपन प्रयोग पर आधारित है। उनके आंकड़ों के अनुसार, कमजोर सक्रियण को हटाने से सटीकता केवल बहत्तर प्रतिशत से इकहत्तर प्रतिशत तक घटती है। लेखक स्वयं स्वीकार करते हैं कि इससे हर दसवां उत्तर बदल जाता है, लेकिन वे इन खोए हुए भेदों को मामूली मानते हैं। एक स्वतंत्र जांच में एक छोटे नेटवर्क पर समान प्रयोग किया गया। मानक परीक्षण पर सटीकता में वृद्धि देखी गई, जो काम्मारता के दावे का समर्थन करती प्रतीत होती थी। हालांकि, सीमांत उदाहरणों पर जांच करने पर, जहां क्रम में केवल दो पड़ोसी तत्वों की अदला-बदली की गई थी, विलोपन के बाद सटीकता तैंतालीस दशमलव एक प्रतिशत से गिरकर बहत्तर दशमलव चार प्रतिशत रह गई। इसका अर्थ है कि मॉडल ने यादृच्छिक अनुमान से ऊपर की अपनी क्षमता का लगभग आधा हिस्सा खो दिया।

इस प्रयोग से यह निष्कर्ष निकलता है कि कमजोर सक्रियण में ही वर्गों की सीमाएं निहित होती हैं, जो यह तय करती हैं कि मॉडल निकटवर्ती मामलों में भेद कर पाता है या नहीं। यह ध्यान देने योग्य है कि सक्रियण के उसी द्रव्यमान को यादृच्छिक रूप से हटाने से भी लगभग वही प्रभाव पड़ता है, जिससे पता चलता है कि सीमाएं कमजोर वितरित द्रव्यमान द्वारा संभाली जाती हैं। काम्मारता ने मुख्य रूप से विशिष्ट मामलों की जांच की, न कि सीमांत मामलों की। इसलिए, उनका जांच मानदंड नेटवर्क की अखंडता का भ्रम पैदा कर सकता है। पूर्ण तकनीकी रिपोर्ट प्रकाशित होने तक काम्मारता के दावों का विस्तृत विश्लेषण संभव नहीं है, फिर भी इस विषय पर व्यापक चर्चा जारी है।