---
title: Ny test visar att kodningsagenter sällan slutför uppgifter helt
url: https://www.elseif.net/sv/ny-test-visar-att-kodningsagenter-sallan-slutfor-uppgifter-helt
published: 2026-11-11T09:07:41+00:00
language: sv
section: Agenter
source: https://the-decoder.de/coding-agenten-liefern-viel-aber-selten-fertig/
organizations: Alibaba, GPT-6 Astra, Claude Opus 5, Qwen3.8-Max, Grok 4.6, GLM-5.2
publisher: elseif
---

# Ny test visar att kodningsagenter sällan slutför uppgifter helt

Forskare från Alibaba och flera asiatiska universitet har utvecklat ett nytt testverktyg för kodningsagenter som avslöjar att även de mest avancerade modellerna misslyckas med att slutföra de flesta verkliga användaruppgifter. Det nya benchmarket, kallat Co-Design Bench, testar agenternas förmåga att hantera faktiska ändringsönskemål från användare i befintliga webbapplikationer, inklusive bearbetning av bilder, ljudinspelningar, videor och dokument.

Resultaten från studien visar att GPT-6 Astra, som presterade bäst bland de tio testade modellerna, endast lyckades slutföra 26,4 procent av uppgifterna helt korrekt. Även om modellen i genomsnitt uppfyllde cirka 70 procent av kraven för varje uppgift, lämnade den nästan alltid minst en detalj olöst. Detta innebär att människor som arbetar med dessa verktyg måste utföra efterarbete i nästan alla fall. Andra modeller som Claude Opus 5 och Qwen3.8-Max följde efter GPT-6 Astra i rankingen, medan Grok 4.6 hamnade på sista plats.

Utvecklarna av Co-Design Bench motiverade skapandet av det nya testet med att befintliga benchmark har blivit för lätta för moderna agenter. När modeller får köra, granska och förbättra sin egen kod i äldre testmiljöer når de resultat över 99 procent, vilket gör det nästan omöjligt att mäta skillnader mellan olika modeller. Co-Design Bench baseras istället på verkliga förfrågningar från faktiska kodningssessioner, med särskilt fokus på fall där användare behövde omformulera sina önskemål flera gånger eller dra tillbaka ändringar.

Testet inkluderar uppgifter som sträcker sig från mindre justeringar, som att överföra ett belopp från ett kvitto till alla beroende summor, till större ombyggnationer av hela projekt. Bedömningsprocessen är strikt: en KI-granskare testar den färdiga applikationen i en webbläsare, medan en andra granskare verifierar varje positivt omdöme och söker specifikt efter falska resultat eller hårdkodade svar. Poäng delas endast ut för funktioner som faktiskt går att använda i applikationen.

Studien visar att alla modeller presterar sämre när en uppgift kombinerar flera typer av ändringar, såsom layout, design, användargränssnitt och innehåll. Dessa komplexa, sammanflätade krav är dock vanliga i verkliga projekt. Ytterligare beräkningskraft löser inte detta problem: GLM-5.2 förbrukade nästan sex gånger så många tokens som GPT-6 Astra vid mindre ändringar men presterade ändå betydligt sämre.

En viktig upptäckt är att den tekniska miljö, eller harness, som agenten körs i har stor påverkan på resultaten. Samma modell, Qwen3.8-27B, presterade olika bra beroende på vilken miljö den användes i, med resultat som varierade mellan 56 och 75 procent vid större ombyggnationer. Vilken modell som presterade bäst berodde också på miljön, vilket innebär att rankinglistor som endast nämner modellen har begränsat värde. Författarna rekommenderar att både modell och arbetsmiljö alltid specificeras tillsammans.

Det nya benchmarket har dock vissa begränsningar. Det utvärderar endast fasta förfrågningar och tar inte hänsyn till uppföljningsfrågor eller korrigeringar från användare under arbetets gång. Dessutom kan KI-granskarna göra fel. Tidigare forskning från organisationen METR har visat att den faktiska användningen av AI-genererad kod i projekt ligger cirka 24 procentenheter lägre än resultaten från det vanliga SWE-bench Verified-testet, vilket illustrerar gapet mellan benchmark-resultat och praktisk användbarhet.