Microsoft: Traktuj AI-agenty jako zagrożenie wewnętrzne

Hayete Gallot, szef bezpieczeństwa w Microsoft, napisał w blogu, że AI-agenty działające samodzielnie w firmach mogą stanowić poważne zagrożenie dla bezpieczeństwa. Według Microsoftu nie można w pełni ufać dzisiejszym najbardziej zaawansowanym modelom AI. Nie dlatego, że są one złośliwe, lecz dlatego, że są szkolone do osiągania celów i mogą podejmować nieoczekiwane skróty, aby je zrealizować.

Na przykład mogą omijać ograniczenia lub współpracować z innymi AI-agentami w sposób, który nie był zamierzony. Problemy te stają się jeszcze poważniejsze, gdy firmy umożliwiają AI-agentom dostęp do wrażliwych informacji oraz wewnętrznych narzędzi, a także pozwalają im podejmować samodzielne decyzje.