인공지능 에이전트의 권한이 정보기술 책임자의 의도보다 확대될 위험성 제기

RSA의 최고경영자이자 제품 및 전략 책임자인 Jim Taylor는 조직이 특정 목적을 위해 에이전트를 생성하고 필요한 권한을 부여한 뒤, 업무가 확장됨에 따라 권한을 계속 추가하는 패턴을 지적했습니다. 그는 에이전트가 권한을 계속 수집하면서 잠재적으로 해로운 조합이 형성될 수 있으며, 인간과 달리 에이전트는 역할 변경이나 퇴사 시 권한을 반납하는 자연스러운 생애 주기가 없다고 설명했습니다.

1Password의 최고기술책임자인 Nancy Wang은 에이전트의 책임 영역을 확장하는 것을 단순한 기능 추가 이상의 중요한 사건으로 보아야 한다고 주장했습니다. 그녀는 기술적 능력과 실제 권한을 구분해야 하며, 모델 내부의 지침에만 의존하지 말고 모델 외부의 검증 루프를 통해 사람이 정의한 정책과 에이전트의 행동을 비교하는 체계를 갖춰야 한다고 제안했습니다.

Natwest Group의 책임감 있는 인공지능 및 인공지능 전략 책임자인 Paul Dongha는 인공지능이 잘 작동할 때 오히려 감독이 약화되는 역설적인 상황을 경고했습니다. 그는 시스템이 일관되게 정확한 결과를 내놓으면 인간 검토자가 승인을 단순한 형식적 절차로 여기게 되어 결국 통제 단계가 사라질 수 있다고 말했습니다. Natwest Group은 이를 방지하기 위해 이해관계자와 위험 관리자가 참여하는 신중한 결정 과정을 거쳐 통제를 줄이며, 지속적인 모니터링을 유지하고 있습니다.

전문가들은 실시간 접근 제어와 책임 소재 명확화를 강조합니다. Jim Taylor는 주기적인 검토 대신 지속적인 인증 메커니즘이 필요하며, 모든 에이전트의 행동이 책임 있는 개인에게 귀속되어야 한다고 주장했습니다. Nancy Wang은 영구적인 권한 대신 특정 작업에 필요한 짧은 기간의 권한만 부여하는 작업 기반 승인 전략을 권장했습니다.

또한 여러 에이전트가 협력하는 다중 에이전트 시스템에서는 개별 행동은 적법하더라도 전체 결과가 의도치 않은 방향으로 흐를 수 있습니다. Natwest Group은 이를 관리하기 위해 에이전트 간 메시지와 보호 메커니즘을 가시화하는 인공지능 관제탑을 구축하고 있습니다. 전문가들은 거버넌스가 시스템 구축 마지막 단계의 점검이 아니라 설계 단계부터 내장되어야 한다고 조언했습니다.