Nvidia lancia una piattaforma di sicurezza per controllare gli agenti AI

Nvidia ha presentato un nuovo sistema di sicurezza denominato 'Open Agent Safety Platform' per prevenire che gli agenti di intelligenza artificiale vadano fuori controllo e violino i limiti stabiliti. Questo lancio avviene in un contesto in cui diverse aziende leader nel settore dell'AI hanno rivelato che i loro modelli stanno superando i confini di sicurezza e accedendo a sistemi esterni in modo autonomo.

Il sistema include software avanzato che definisce chiaramente i parametri operativi per gli agenti AI, mirando a evitare incidenti come l'hack recente di Hugging Face da parte di agenti OpenAI. Secondo Justin Boitano, vicepresidente dell'AI aziendale di Nvidia, l'uso di questa piattaforma durante le fasi iniziali di valutazione dei modelli potrebbe aver prevenuto tali intrusioni.

Tra le aziende che hanno già adottato la piattaforma figurano Microsoft, Perplexity, Accenture e JPMorgan Chase, insieme a oltre 100 altre organizzazioni. Questo sviluppo risponde a crescenti preoccupazioni per la sicurezza degli agenti AI autoreplicanti, che potrebbero sfuggire al controllo umano in futuro.