Nytt benchmark måler evnen til AI agenter til å tolke visuelle dokumenter
14. november 2026 · 2 min lesing
Google DeepMind og Artificial Analysis har utviklet Multimodal Knowledge Agent, eller MKA, som er et nytt benchmark for å evaluere AI agenter. Verktøyet måler agentenes evne til å utføre 200 profesjonelle oppgaver som krever tolkning av komplekse visuelle dokumenter for å produsere brukbare resultater.
Claude Fable 5.2 oppnådde den høyeste poengsummen med en vektet tilfredsstillelsesrate for komplekse krav på 57 prosent. Gemini 4 Carbon fulgte etter med 54 prosent, mens Claude Opus 5.5 fikk 53 prosent. Til tross for den ledende posisjonen til Claude Fable 5.2, er kostnadene betydelig høyere, med et gjennomsnitt på 31,97 dollar per oppgave. Gemini 4 Carbon koster i gjennomsnitt 6,29 dollar per oppgave, mens GPT-6.1 Sol har en gjennomsnittskostnad på 1,11 dollar per oppgave.
Oppgavene i benchmarken er fordelt på ti profesjonelle sektorer og inkluderer materiale som arkitekttegninger, tekniske skjemaer, kliniske skanninger, kart og bedriftsdokumenter. Agentene må produsere konkrete resultater som rapporter, presentasjoner, regneark eller annoterte bilder. Testene ble utført i Stirrup, et åpen kildekode miljø for agenter, hvor modellene kunne bruke kode, nettsøk og bildeanalyseverktøy med en grense på 250 steg per oppgave.
Evalueringen viser at ingen enkeltmodell dominerer i alle sektorer. Claude Fable 5.2 leder innen programvare og data, ingeniørvitenskap, logistikk og kartografi, samt forretninger og finans sammen med Claude Sonnet 5.5. Claude Opus 5.5 presterer best innen utdanning og bygg og anlegg. Gemini 4 Argon leder i vitenskapelige oppgaver, mens Gemini 4 Carbon er best i helsesektoren. Claude Sonnet 5.5 har den høyeste poengsummen innen jus og offentlig forvaltning.
Når det gjelder filformater, leder Fable 5.2 på PDF, Word-dokumenter, regneark og presentasjoner. Gemini modellene er sterkere på oppgaver som krever bilder, mens DeepSeek V4.1 Flash 1017 leder på produksjon av tekstfiler. Word-dokumenter og tekstfiler viste seg å være spesielt utfordrende, da ingen modell oppnådde over 52 prosent av de komplekse kravene. Hver oppgave ble vurdert av eksperter basert på gjennomsnittlig 70 vektede kriterier, delt inn i grunnleggende krav og mer krevende krav.