Ny test viser at kodeagenter sjelden fullfører oppgaver helt korrekt
11. november 2026 · 3 min lesing
Forskere fra Alibaba og flere asiatiske universiteter har utviklet en ny test kalt Co-Design Bench for å evaluere ytelsen til kunstig intelligens-drevne kodeagenter. Testen avslører at selv de beste modellene kun klarer å fullføre omtrent hver fjerde oppgave uten feil, til tross for høye poengsummer i eldre tester. Resultatene indikerer at dagens agenter ofte leverer nesten komplette løsninger, men regelmessig utelater kritiske detaljer som krever menneskelig etterarbeid.
Den nye benchmarken skiller seg fra tidligere tester ved å bruke ekte endringsønsker fra brukere hentet fra virkelige kodingssesjoner, i stedet for syntetiske eller forenklede oppgaver. Agentene ble bedt om å oppdatere eksisterende nettapplikasjoner basert på instruksjoner som kunne inkludere bilder, lydopptak, videoer eller dokumenter. Forskerne valgte spesielt ut tilfeller der brukere måtte omformulere forespørslene sine flere ganger eller trekke tilbake endringer, noe som speiler komplekse situasjoner agenter møter i praksis. Oppgavene varierte fra små justeringer, som å oppdatere summer basert på en kvittering, til store ombygginger av hele prosjekter.
GPT-6 Astra rangerte som den beste modellen blant de ti som ble testet, og oppfylte i gjennomsnitt rundt 70 prosent av kravene i hver oppgave. Men når det gjelder fullstendig korrekte resultater uten mangler, sank tallet til bare 26,4 prosent. Dette betyr at agenten i de fleste tilfeller løser hoveddelen av jobben, men etterlater minst én feil eller utelatt funksjon. Andre modeller som fulgte på listen var Claude Opus 5 og Qwen3.8-Max, mens Grok 4.6 havnet på sisteplass. Interessant nok oppnådde den mindre modellen Qwen3.8-27B andreplass når det gjaldt større kodeombygginger, selv om forskerne ikke konkluderer med at dette gir modellen en generell fordel.
Ytelsen til alle modellene falt markant når oppgavene krevde kombinasjoner av ulike typer endringer, som samtidig justeringer av layout, design, brukergrensesnitt og innhold. Slike sammensatte krav er vanlige i virkelige prosjekter, men viser seg å være en stor utfordring for nåværende teknologi. Økt beregningskraft løste ikke dette problemet; modellen GLM-5.2 brukte nesten seks ganger så mange tokens som GPT-6 Astra på mindre endringer, men presterte likevel betydelig dårligere.
En viktig funn i studien er hvor sterkt resultatene avhenger av programvaren som kjører modellen, såkalte harnesses. Da de samme modellene ble kjørt i ulike miljøer, varierte suksessraten kraftig. For eksempel oppnådde Qwen3.8-27B en suksessrate på 75 prosent i ett miljø, men bare 56 prosent i et annet ved store ombygginger. Hvilken modell som presterte best, kunne også endre seg avhengig av hvilket verktøy som ble brukt. Forskerne anbefaler derfor at rangeringer alltid spesifiserer både modell og arbeidsmiljø, og at bedrifter tester begge komponenter sammen før de velger løsning.
Testen har likevel sine begrensninger. Den evaluerer kun faste forespørsler og tar ikke høyde for dialoger der brukeren stiller oppfølgingsspørsmål eller ber om korreksjoner underveis. I tillegg finnes det en risiko for at de automatiserte KI-testerne som vurderer resultatene kan ta feil. Tidligere undersøkelser har vist at gapet mellom benchmark-resultater og faktisk brukbarhet kan være stort, med en betydelig lavere akseptrate for AI-generert kode i virkelige prosjekter sammenlignet med testresultater.