---
title: Nytt benchmark mäter AI-agenters förmåga att hantera komplexa visuella dokument
url: https://www.elseif.net/sv/nytt-benchmark-mater-ai-agenters-formaga-att-hantera-komplexa-visuella-dokument
published: 2026-11-14T15:20:17+00:00
language: sv
section: Agenter
source: https://www.ai4business.it/intelligenza-artificiale/documenti-visivi-e-agenti-ai-cosa-misura-il-benchmark-mka/
organizations: Google DeepMind, Artificial Analysis, Anthropic, OpenAI, DeepSeek
publisher: elseif
---

# Nytt benchmark mäter AI-agenters förmåga att hantera komplexa visuella dokument

Google DeepMind och Artificial Analysis har utvecklat och publicerat Multimodal Knowledge Agent, eller MKA, ett nytt benchmark som utvärderar AI-agenter i professionella arbetsuppgifter. Verktyget mäter agenternas förmåga att tolka komplexa visuella dokument och skapa användbara resultat.

Utvärderingen omfattar 200 privata aktiviteter fördelade på tio professionella sektorer. De ingående materialen består av specialiserade filer såsom arkitektritningar, tekniska scheman, kartor, kliniska scanningar och ingenjörsritningar. Agenterna ska inte bara svara på frågor utan producera konkreta resultat i form av rapporter, presentationer, kalkylblad eller annoterade bilder.

Claude Fable 5.2 uppnådde det högsta resultatet med en Climb Weighted Satisfaction Rate på 57 procent. Gemini 4 Carbon följde efter med 54 procent och Claude Opus 5.5 nådde 53 procent. Trots att Claude Fable 5.2 leder, är marginalen till den näst bästa modellen endast tre punkter.

Analysen visar stora skillnader i driftskostnader. Claude Fable 5.2 kostar i genomsnitt 31,97 dollar per uppgift, medan Gemini 4 Carbon kostar 6,29 dollar. GPT-6.1 Sol har en genomsnittlig kostnad på 1,11 dollar per aktivitet och ligger inom tio punkter från det bästa resultatet.

Ingen modell dominerar i samtliga sektorer. Claude Fable 5.2 leder inom mjukvara och data, ingenjörskonst, logistik och kartografi samt affärer och finans, där den senare delas med Claude Sonnet 5.5. Claude Opus 5.5 presterar bäst inom utbildning och byggsektorn. Gemini 4 Argon är ledande i vetenskapliga uppgifter och Gemini 4 Carbon leder inom hälso- och sjukvård. Claude Sonnet 5.5 har högst poäng inom juridik och offentlig förvaltning.

När det gäller filformat leder Fable 5.2 produktionen av PDF-filer och Word-dokument, samt kalkylblad och presentationer. Gemini-modellerna är starkare i uppgifter som kräver bilder, medan DeepSeek V4.1 Flash 1017 leder produktionen av textfiler. Word-dokument och textfiler visade sig vara särskilt svåra, då ingen modell uppnådde mer än 52 procent av de komplexa kraven.

Testerna genomfördes i Stirrup, en agentmiljö med öppen källkod från Artificial Analysis. Agenterna fick använda kod, webbsökning och verktyg för bildanalys med en gräns på 250 steg per uppgift. Varje aktivitet bedömdes av experter utifrån i genomsnitt 70 viktade kriterier, uppdelade i grundläggande krav och svårare krav.