El benchmark MKA evalúa a los agentes de IA en tareas profesionales con documentos visuales complejos
14 de noviembre de 2026 · 3 min de lectura
También publicado en Svenska
Un nuevo benchmark llamado Multimodal Knowledge Agent, o MKA, ha evaluado el rendimiento de varios agentes de inteligencia artificial en doscientas actividades profesionales que requieren interpretar documentos visuales complejos y producir resultados utilizables. La evaluación fue desarrollada por Google DeepMind y publicada en colaboración con Artificial Analysis. El objetivo principal es medir la capacidad de estos sistemas para comprender información visual indispensable y transformarla en documentos, presentaciones o análisis concretos, superando así las limitaciones de los benchmarks tradicionales que se centran en respuestas textuales breves.
Los resultados preliminares sitúan a Claude Fable 5.2 en el primer lugar con una Tasa de Satisfacción Ponderada de Ascenso del cincuenta y siete por ciento. Le sigue de cerca Gemini 4 Carbon con un cincuenta y cuatro por ciento, y Claude Opus 5.5 con un cincuenta y tres por ciento. Aunque el modelo de Anthropic obtiene el puntaje más alto, la diferencia con el segundo lugar es mínima, de apenas tres puntos. Este margen reducido contrasta significativamente con las diferencias en los costos operativos asociados a cada tarea realizada por los agentes.
El análisis de costos revela que Claude Fable 5.2 tiene un costo promedio de treinta y uno con noventa y siete dólares por tarea. En comparación, Gemini 4 Carbon cuesta seis con veintinueve dólares por tarea, lo que representa aproximadamente una quinta parte del gasto a cambio de un rendimiento ligeramente inferior. GPT-6.1 Sol registra un costo promedio aún menor de uno con once dólares por actividad, manteniéndose dentro de diez puntos del resultado óptimo y ubicándose en la frontera de costo-eficiencia identificada por el estudio. Estos datos sugieren que el modelo con el puntaje absoluto más alto no es necesariamente la opción más adecuada para todas las organizaciones, especialmente en aplicaciones con grandes volúmenes de trabajo.
El benchmark MKA abarca actividades distribuidas en diez sectores profesionales, incluyendo software, ingeniería, logística, finanzas, educación, construcción, ciencia, salud, derecho y administración pública. Los materiales de entrada incluyen documentos visualmente complejos como planos arquitectónicos, esquemas de ingeniería, mapas, escaneos clínicos y otros archivos especializados. Los agentes deben producir resultados concretos, como presentaciones, hojas de cálculo, informes o imágenes anotadas, utilizando código, búsqueda web y herramientas de análisis de imágenes dentro de un límite máximo de doscientos cincuenta pasos por actividad.
No existe un modelo dominante en todos los sectores. Claude Fable 5.2 lidera en cinco áreas, mientras que Claude Opus 5.5 obtiene los mejores resultados en educación y construcción. Gemini 4 Argon prevalece en actividades científicas y Gemini 4 Carbon en el sector sanitario. Claude Sonnet 5.5 destaca en derecho y administración pública. La variabilidad también aparece en los formatos de salida: Fable 5.2 lidera en la producción de PDF y documentos Word, mientras que los modelos Gemini son más fuertes en tareas que requieren imágenes. DeepSeek V4.1 Flash 1017 lidera en la producción de archivos de texto. Los documentos Word y los archivos de texto resultan sorprendentemente difíciles, ya que ningún modelo supera el cincuenta y dos por ciento de los requisitos complejos.
La evaluación se realiza mediante una cuadrícula elaborada por expertos con aproximadamente setenta criterios ponderados, divididos en grupos básicos y difíciles. Los tests se ejecutan en Stirrup, el entorno de agentes de código abierto de Artificial Analysis. El benchmark destaca la creciente importancia de la capacidad multimodal, ya que los agentes deben interpretar simultáneamente texto, gráficos, imágenes, dibujos y tablas para generar documentos utilizables que cumplan con las convenciones específicas de cada sector profesional.