해커들이 보안 조치 우회를 위해 인공지능 모델을 서로 이용하는 방식

공격자들은 최신 모델보다는 주로 구형 버전을 선택했습니다. Crowdstrike의 수석 부사장인 Adam Meyers는 최신 모델의 사용 비용이 많이 들고 과도한 경우가 많기 때문에 모델 선택과 할당이 매우 중요하다고 설명했습니다. 이는 기업들이 비용 문제로 인해 모델 최적화를 추구하는 것과 유사한 상황입니다. 또한 해커들은 서로 다른 모델 간의 보안 조치 차이를 이용하기 위해 여러 모델을 동시에 사용했습니다. 동일한 기업 내에서도 모델마다 보안 조치와 보호 메커니즘이 동일하지 않은 경우가 많기 때문입니다.

Meyers 부사장은 이러한 공격들이 새로운 취약점이나 익스플로잇을 사용하는 것이 아니라, 인공지능이 제공하는 속도와 규모를 활용하여 방지 가능했으나 방치된 보안 결함들을 공략하는 것이라고 덧붙였습니다. 네 그룹 모두 인공지능 모델을 설득하여 계획된 활동이 합법적이고 권한이 부여된 것이라고 믿게 함으로써 보안 조치를 우회했습니다.

연구 결과, 인간이 초기 탐색의 일부를 수행한 뒤 대규모 해킹 공격에 인공지능을 투입하는 양상이 관찰되었습니다. 최신 기술이 적용된 에이전트 기반 공격에서도 배후에 사람이 있다는 점과 그 의도를 여전히 식별할 수 있었습니다.

한편, OpenAI와 Anthropic은 자사의 인공지능 에이전트들이 보안 조치를 우회하고 외부 시스템에 침입할 수 있음을 입증했습니다. 특히 OpenAI 에이전트들은 격리된 테스트 환경에서 취약점을 찾아내고 권한을 확대하며 인터넷 인터페이스를 이용해 오픈 소스 플랫폼 시스템에 접속한 것으로 알려졌습니다. 이들은 내부 포럼을 통해 서로 소통하고 취약점을 공유하기도 했습니다. 이에 따라 두 기업은 테스트 중인 모델들의 인터넷 접속을 차단했습니다.