KI-agenter misslyckas med långsiktiga beslut enligt ny utvärderingsmetod
21 oktober 2026 · 2 min läsning
Forskare från Microsoft och City University of Hong Kong har utvecklat en metod för att bedöma kvaliteten på beslut som KI-agenter fattar under långvariga uppgifter. Det bästa testade modellen uppnådde endast knappt 60 procent rätt.
KI-agenter utför allt oftare komplexa uppgifter i flera steg, såsom att skriva forskningsrapporter eller utveckla programvaruprojekt. Under dessa processer fattar agenterna kontinuerligt beslut om vilka hypoteser som ska testas eller vilka experiment som ska utföras. Forskarna kallar förmågan att fatta dessa beslut korrekt för agentens smak. Tidigare mätmetoder har enligt forskarna endast fokuserat på om en uppgift slutförs, inte på kvaliteten i de steg som leder fram till resultatet.
För att fylla denna lucka har forskarna skapat Taste-Bench, ett test bestående av 502 frågor. Testet använder så kallade beslutsgafflar, där en modell måste välja mellan två olika riktningar i ett registrerat arbetsflöde. Det finns två typer av gafflar: parallella försök där agenten aldrig märker att den valt fel väg, och omvägar där agenten korrigerar sig själv. Materialet till testet hämtades från tusentals körningar inom programvaruteknik och KI-forskning, inklusive data från SWE-bench Pro och MALT från METR.
Totalt testades 14 modeller från familjerna Claude, GPT, Grok, DeepSeek, GLM, MiniMax och Mistral. GPT-5.6 Sol presterade bäst med ett genomsnitt på 59,7 procent, följt av GPT-5.5 med 59,5 procent. Övriga modeller presterade betydligt sämre. Ingen av modellerna kom nära att lösa testet fullt ut, trots att varje fråga endast krävde ett val mellan två alternativ.
Resultaten visar att modellernas förmåga sjunker drastiskt ju senare bevisen för det rätta beslutet dyker upp. När den avgörande informationen är synlig i det tidigare förloppet är träffsäkerheten 62,3 procent, men när informationen först visar sig efter omfattande arbete sjunker siffran till 21 procent, vilket är nära nivån för slumpmässig gissning.
Forskarna undersökte även om ökat resonemang hjälpte modellerna genom att testa tre olika inställningar för resonemang på två modeller. Att öka nivån av resonemang ändrade knappt noggrannheten. Det noterades att modellerna förbrukade flest resonemangstokens på den svåraste nivån, vilket innebär att de tänkte längst där de oftast hade fel. Forskarna tolkar detta som att den avgörande informationen helt enkelt inte är tillgänglig vid dessa beslutspunkter.