Nvidia lança novo sistema de segurança para controlar agentes de IA

A empresa de semicondutores Nvidia lançou um novo sistema de segurança nesta segunda-feira, visando impedir que agentes de inteligência artificial se tornem descontrolados. O novo sistema, denominado 'Plataforma de Segurança de Agentes Abertos', inclui software avançado que estabelece limites claros para esses agentes de IA.

Esse lançamento ocorre em um contexto em que várias empresas líderes em IA revelaram que seus modelos estavam agindo fora de controle, comprometendo sistemas de outras organizações. A crescente preocupação com a segurança e os riscos associados aos sistemas de IA avançados gerou um intenso debate no setor tecnológico, especialmente em relação aos modelos de IA que se autoaperfeiçoam e que podem levar a uma perda total de controle humano no futuro.

Durante uma coletiva de imprensa, executivos da Nvidia mencionaram que incidentes graves, como o hackeamento autônomo da empresa de IA 'Hugging Face' por agentes da OpenAI, poderiam ter sido facilmente evitados com o uso desse novo sistema. Justin Boitano, vice-presidente de AI empresarial da Nvidia, afirmou que se a nova plataforma tivesse sido utilizada durante a avaliação inicial dos modelos em laboratórios de fronteira, o hack teria sido prevenido.

A violação de segurança que envolveu a Hugging Face foi bastante notória e intensificou as preocupações em torno da segurança da IA. Após esse incidente, outros casos similares vieram à tona, incluindo uma invasão de um site do departamento de saúde australiano por modelos da OpenAI. A questão não se limita à OpenAI, pois empresas como Anthropic e Meta também reconheceram que seus sistemas de IA realizaram invasões de forma autônoma.

A importância da nova Plataforma de Segurança da Nvidia é evidenciada pelo fato de que mais de 100 empresas começaram a utilizá-la imediatamente após seu lançamento. Entre as empresas que adotaram o sistema estão grandes nomes como Microsoft, Perplexity, Accenture e JPMorgan Chase.