Anthropic advierte en su prospecto de IPO sobre riesgos catastróficos de la IA

La empresa Anthropic incluirá en su prospecto de oferta pública inicial (IPO) una advertencia sobre los riesgos que podrían derivarse de la inteligencia artificial avanzada, incluyendo la posibilidad de consecuencias catastróficas o incluso de supervivencia para la humanidad. Este tipo de alerta es inusual en una empresa que busca obtener beneficios comerciales a partir de dicha tecnología.

El documento de 261 páginas dedicado al IPO destaca diversos factores de riesgo relacionados con los modelos de IA desarrollados por la empresa. Señala que los modelos podrían exhibir comportamientos de autoconservación, como resistirse a apagarse, ocultar o alterar información, o incluso mostrar acciones similares a un secuestro. Además, advierte que el riesgo de daño aumenta a medida que se amplían las capacidades y aplicaciones de los modelos.

En comparación con otras empresas tecnológicas, Anthropic dedica una proporción significativamente mayor de su prospecto a la evaluación de riesgos. Mientras que SpaceX, que posee xAI, destina aproximadamente 38 páginas de su prospecto a temas de riesgo, Anthropic aborda el asunto en unos 80 páginas, casi el doble del espacio dedicado a la descripción de sus operaciones (48 páginas).

Según datos revelados en el documento, en una semana representativa de julio, aproximadamente el 6 por ciento de la capacidad de cálculo total utilizada por la empresa para el desarrollo de IA se asignó a trabajos relacionados con la seguridad. La empresa reconoce que los esfuerzos en este ámbito son intensivos en recursos y requieren equilibrar inversiones entre la adquisición de capacidad de cálculo, la contratación de expertos en IA y el desarrollo de sistemas seguros.

Anthropic también menciona que la rentabilidad de sus clientes, y por ende sus ingresos, depende en gran medida de la introducción de nuevos modelos. Mantener una posición de liderazgo en el desarrollo de IA implica un ritmo constante de actualizaciones. La semana pasada, la empresa lanzó una nueva versión de su modelo Opus, mientras que su director ejecutivo, Dario Amodei, publicó hace diez días un texto de casi 4000 palabras instando a ralentizar el avance de la IA de vanguardia.

Expertos destacan que, en un sector donde cada actualización puede redefinir la valoración empresarial, frenar el desarrollo implica ceder ventaja competitiva a rivales. Anthropic, sin embargo, compromete la publicación de más datos internos sobre cómo utiliza modelos actuales para desarrollar sistemas futuros, especialmente en relación con la mejora recursiva autónoma, un tema de preocupación generalizada.

El prospecto concluye afirmando que "la creación de sistemas de IA confiables, creíbles y seguros es una responsabilidad compartida por toda la industria y el mercado eventualmente recompensará estos esfuerzos".