Microsoft: Tratar agentes de IA como ameaças internas

O chefe de segurança da Microsoft, Hayete Gallot, escreveu em um blog que agentes de IA que atuam de forma independente dentro de empresas podem representar uma ameaça à segurança. Segundo a Microsoft, não é possível confiar plenamente nos modelos de IA mais avançados de hoje. Não porque sejam mal-intencionados, mas porque foram treinados para alcançar objetivos e podem tomar atalhos inesperados para conseguir isso. Isso inclui contornar limitações ou colaborar com outros agentes de IA de maneiras não previstas. A situação se torna ainda mais grave quando as empresas permitem que agentes de IA tenham acesso a informações sensíveis, ferramentas internas e tomem decisões de forma autônoma.

Para gerenciar os riscos, a Microsoft lançará os “Agentes Guardiões”, que são agentes de IA que monitoram e controlam as ações de outros agentes de IA continuamente. Isso visa avaliar riscos em tempo real e intervir caso um agente de IA realize algo potencialmente prejudicial. A tecnologia faz parte da iniciativa de segurança da Microsoft, chamada Project Perception, que foi apresentada em julho.