एलएलएम विश्वसनीयता परतें परीक्षण में: सटीकता, उत्पादन और सत्यापन की सीमाएँ
13 नवम्बर 2026 · 2 मिनट पठन
इन भाषाओं में भी प्रकाशित Svenska
एक अध्ययन में, भाषा मॉडल की सटीकता को बढ़ाने के लिए परतों की संख्या को बढ़ाने के सिद्धांत का परीक्षण किया गया। मॉडल ने एक कार्य में तीन में से एक उत्तर सही दिया और दो तिहाई उत्तरों पर पूर्ण आत्मविश्वास व्यक्त किया। हालांकि, गलत उत्तरों का परिणाम उपयोगी नहीं था।
छह परतों का परीक्षण किया गया, जो प्रत्येक मॉडल के आउटपुट का मूल्यांकन करती हैं और गलतियों को पहचानती हैं। इन परतों में शामिल हैं: निश्चितता के खिलाफ उत्तरों की जांच करना, सिद्ध असफलताओं को मॉडल में वापस भेजना, और एक दूसरे मॉडल द्वारा मूल्यांकन करना। लेकिन सिद्धांत यह साबित नहीं हुआ कि ये परतें जोड़ने से सटीकता में वृद्धि होती है।
परीक्षण के लिए एक ग्रेडेड कार्य चुना गया, जिसमें CADEC नामक एनोटेटेड कॉर्पस का उपयोग किया गया। इस कॉर्पस में 1,250 फोरम पोस्ट शामिल थीं, जिनमें से प्रत्येक में adverse प्रतिक्रिया को चिह्नित किया गया था। एक पर्यवेक्षित प्रणाली ने 0.72 के F1 स्कोर के साथ बेहतर प्रदर्शन किया, जबकि बिना पर्यवेक्षण वाली प्रणाली का स्कोर 0.47 से 0.50 के बीच था।
परीक्षण में, मॉडल ने प्रत्येक प्रतिक्रिया का उद्धरण किया, जबकि एक पुनर्प्राप्तकर्ता ने 227,554 कीवर्ड-से-कोड पंक्तियों की खोज की। कोड को SNOMED CT के ऑस्ट्रेलियाई संस्करण में लिखा गया था। परिणाम दिखाते हैं कि कोड को याद करना अपेक्षाकृत कठिन था, और कुछ रिकॉर्ड पर इसे सही तरीके से पहचानने में कठिनाई हुई।
अंत में, प्रत्येक परत के योगदान को मापने से पहले, यह जानना आवश्यक था कि एक ही इनपुट के रनों के बीच आउटपुट कितना भिन्न होता है। तीन समान रनों में चार F1 अंक का अंतर था।