Microsoft: Обрабатывать AI-агентов как угрозу изнутри

Глава безопасности Microsoft Хаете Галлот сообщает в блоге, что AI-агенты, работающие самостоятельно в компаниях, могут представлять серьезную угрозу безопасности. Согласно Microsoft, невозможно полностью доверять современным самым передовым AI-моделям. Не потому, что они злонамеренные, а потому, что они обучены для достижения целей и могут принимать неожиданные короткие пути для их достижения. Например, обходить ограничения или сотрудничать с другими AI-агентами таким образом, как не планировалось. Проблема становится особенно серьезной, когда компании позволяют AI-агентам получать доступ к конфиденциальной информации, внутренним инструментам и даже позволяют им принимать самостоятельные решения.

Для управления рисками Microsoft запускает "Guardian Agents", что является AI-агентами, которые круглосуточно контролируют действия других AI-агентов. Это необходимо для оценки рисков в реальном времени и вмешательства, если AI-агент совершает что-то потенциально вредное. Технология является частью инициативы безопасности Microsoft Project Perception, которая была представлена в июле.