Nieuwe benchmark toont dat codeagenten zelden volledig klaar zijn
11 november 2026 · 2 min leestijd
Onderzoekers van Alibaba en meerdere Aziatische universiteiten hebben een nieuwe test voor codeagenten ontwikkeld die aantoont dat de beste modellen slechts een kwart van de taken volledig afronden. De test, genaamd Co-Design Bench, confronteert kunstmatige intelligentie met echte wijzigingswensen van gebruikers. Het resultaat relativert de bijna perfecte scores van oudere tests, omdat de agenten in de meeste gevallen details over het hoofd zien en daardoor naslagwerk vereisen.
De nieuwe benchmark is ontworpen om de verzadiging van bestaande tests te doorbreken. Als modellen hun code zelf mogen uitvoeren en verbeteren, halen ze daar scores van meer dan negentig negen procent. Co-Design Bench gebruikt daarom echte aanvragen uit sessies waarin gebruikers hun verzoek vaak moesten herformuleren. De taken variëren van kleine aanpassingen, zoals het overnemen van een bedrag van een bon in alle afhankelijke sommen, tot het omvormen van hele projecten. De agenten moeten bestaande webtoepassingen aanpassen op basis van beelden, spraakopnames, video's of documenten.
GPT-6 Astra presteert het beste van de tien geteste modellen en voldoet aan ongeveer zeventig procent van de vereisten per taak. Toch is het resultaat slechts in zesentwintig komma vier procent van de gevallen volledig correct. Claude Opus 5 en Qwen3.8-Max volgen op de tweede en derde plaats, terwijl Grok 4.6 de laatste plek inneemt. Het kleinere model Qwen3.8-27B behaalt de tweede rang bij grotere omvormingen, maar de auteurs leiden hier geen algemeen voordeel uit af. De prestaties van alle modellen dalen wanneer een taak verschillende soorten wijzigingen combineert, zoals lay-out, ontwerp, bediening en inhoud.
De keuze van de omgevingssoftware, of harness, beïnvloedt het resultaat sterk. In een bijkomende test haalde Qwen3.8-27B bij grotere omvormingen scores van vijfenzeventig procent of slechts vijftig zes procent, afhankelijk van de omgeving. De auteurs raden aan om model en werkomgeving altijd samen te noemen en te testen. De benchmark heeft echter beperkingen, omdat hij vaste aanvragen beoordeelt en geen vragen of correcties van gebruikers tijdens het werk meeneemt. Ook kunnen de kunstmatige intelligentie-toezichters fouten maken. Eerder onderzoek toonde aan dat de daadwerkelijke overname van code door projectleiders lager ligt dan de benchmarkresultaten suggereren.