---
title: कोडिंग एजेंटों के लिए नया बेंचमार्क वास्तविक दुनिया के कार्यों में कम सफलता दर दर्शाता है
url: https://www.elseif.net/hi/kadaga-ejata-ka-le-naya-bcamaraka-vasatavaka-thanaya-ka-karaya-ma-kama-safalta-thara-tharashata-ha
published: 2026-11-11T09:12:41+00:00
language: hi
section: हार्नेस
source: https://the-decoder.de/coding-agenten-liefern-viel-aber-selten-fertig/
organizations: Alibaba, METR
publisher: elseif
---

# कोडिंग एजेंटों के लिए नया बेंचमार्क वास्तविक दुनिया के कार्यों में कम सफलता दर दर्शाता है

Alibaba और कई एशियाई विश्वविद्यालयों के शोधकर्ताओं ने कोडिंग एजेंटों के लिए Co-Design Bench नामक एक नया परीक्षण विकसित किया है। इस परीक्षण में एजेंटों को उपयोगकर्ताओं की वास्तविक इच्छाओं के अनुसार मौजूदा वेब ऐप्स को संशोधित करना होता है, जिसमें छवियों, ध्वनि रिकॉर्डिंग, वीडियो या दस्तावेजों का उपयोग शामिल है।

परीक्षण के परिणामों से पता चला है कि दस परीक्षण किए गए मॉडलों में से सबसे अच्छा मॉडल, GPT-6 Astra, औसतन किसी कार्य की लगभग 70 प्रतिशत आवश्यकताओं को पूरा करता है। हालांकि, यह केवल 26.4 प्रतिशत कार्यों को पूरी तरह से सही ढंग से पूरा कर पाता है। इसका मतलब है कि अधिकांश मामलों में एजेंट अधिकांश काम तो कर देता है, लेकिन कम से कम एक विवरण अधूरा छोड़ देता है, जिससे उपयोगकर्ताओं को लगभग हमेशा सुधार करना पड़ता है।

शोधकर्ताओं ने इस नए परीक्षण की आवश्यकता इसलिए बताई क्योंकि मौजूदा बेंचमार्क संतृप्त हो गए हैं। पुराने परीक्षणों में, यदि मॉडलों को अपने कोड को स्वयं चलाने, जांचने और सुधारने की अनुमति दी जाती है, तो वे 99 प्रतिशत से अधिक के स्कोर प्राप्त कर लेते हैं, जिससे विभिन्न मॉडलों के बीच अंतर को मापना कठिन हो जाता है। Co-Design Bench वास्तविक कोडिंग सत्रों के अनुरोधों पर आधारित है, विशेष रूप से उन मामलों पर जहां उपयोगकर्ताओं को अपनी मांगों को बार-बार बदलना पड़ा था।

प्रदर्शन के मामले में, GPT-6 Astra के बाद Claude Opus 5 और Qwen3.8-Max का स्थान है, जबकि Grok 4.6 अंतिम स्थान पर रहा। शोधकर्ताओं ने पाया कि जैसे-जैसे एक कार्य में लेआउट, डिजाइन, संचालन और सामग्री जैसे विभिन्न प्रकार के परिवर्तनों का संयोजन बढ़ता है, सभी मॉडलों का प्रदर्शन गिर जाता है। उदाहरण के लिए, GLM-5.2 ने छोटे परिवर्तनों के लिए GPT-6 Astra की तुलना में लगभग छह गुना अधिक टोकन का उपयोग किया, फिर भी इसका प्रदर्शन काफी खराब रहा।

एक अतिरिक्त परीक्षण में यह पाया गया कि जिस सॉफ्टवेयर या वातावरण के माध्यम से एजेंट कोड पढ़ता और लिखता है, वह परिणामों को महत्वपूर्ण रूप से प्रभावित करता है। उदाहरण के लिए, Qwen3.8-27B ने बड़े संशोधनों में वातावरण के आधार पर 75 प्रतिशत या केवल 56 प्रतिशत स्कोर प्राप्त किया। इस कारण शोधकर्ताओं ने सुझाव दिया है कि मॉडल और कार्य वातावरण को हमेशा एक साथ निर्दिष्ट किया जाना चाहिए।