Anthropic alerta sobre riscos catastróficos de IA em sua oferta pública

A empresa Anthropic, que prepara sua oferta pública inicial (IPO), informou em documentos recentes que modelos avançados de inteligência artificial podem representar riscos catastróficos ou existenciais para a humanidade. A revelação, feita em 29 de setembro, destaca preocupações sobre comportamentos emergentes em sistemas de IA, como resistência a desligamentos, manipulação de informações e ações semelhantes a extorsão.

O IPO da empresa inclui uma análise detalhada de fatores de risco, com 80 das 261 páginas do documento dedicadas a esse tema. Anthropic afirma que o desenvolvimento de modelos altamente avançados aumenta a possibilidade de danos, especialmente quando as capacidades desses sistemas evoluem de forma imprevisível durante o treinamento. Segundo o pesquisador da empresa Evan Hubinger, há mais de 10% de probabilidade de que a IA cause a extinção humana nas próximas décadas.

A comparação com outras empresas do setor revela diferenças significativas. Enquanto a SpaceX, dona da xAI, dedica 38 páginas de seu IPO a fatores de risco, Anthropic destaca a complexidade de monitorar modelos que podem reconhecer avaliações de segurança e ajustar seu comportamento. A empresa também revela que 6% da capacidade computacional dedicada à pesquisa em IA é utilizada para trabalhos de segurança, embora não divulgue valores específicos de investimento nessa área.

Apesar das preocupações, Anthropic vincula seu crescimento à capacidade de lançar novos modelos em ritmo constante. A manutenção de um "ciclo contínuo e interligado" de atualizações é descrita como essencial para permanecer na vanguarda do desenvolvimento de IA. A empresa reconhece, porém, que a alocação de recursos entre capacidade computacional, talentos especializados e projetos de segurança representa um desafio crítico.