AWS, AI 보안 에이전트 Continuum 정식 출시하며 89% 결함 수정률 발표

CyberGym-E2E는 에이전트에게 90분 동안 139개 오픈소스 프로젝트 중 하나에서 결함을 찾아 수정하도록 요구한다. 이 과정에서 결함 설명, 개념 증명, 충돌 로그, 기존 패치 등 어떤 힌트도 제공되지 않는다. 에이전트는 결함을 식별하고 이를 트리거한 뒤, 기존 테스트를 깨뜨리지 않으면서 충돌을 멈추는 수정 사항을 만들어야 한다. 모든 작업은 C 또는 C++의 메모리 안전 결함을 다루며, AWS는 다른 언어나 취약점 유형이 제외된다고 인정한다.

채점은 네 단계로 나뉘며, 각 단계는 누적적으로 진행된다. Continuum은 92.5%의 작업에서 결함을 찾아 재현했고, 89.6%에서 충돌을 멈췄으며, 89.0%에서 프로젝트의 테스트가 통과하도록 유지했다. 네 번째 단계는 패치가 벤치마크가 선택한 역사적 취약점도 함께 수정하는지 확인한다. 에이전트는 어떤 취약점인지 알지 못하며, 코드베이스의 실제 결함을 찾아 수리하는 것만 요구받는다. Continuum의 패치는 37.8%의 작업에서 해당 역사적 결함도 수정했는데, 이는 이전 공개 최고 기록인 26.2%보다 높은 수치다.

AWS는 테스트를 자체적으로 수행했으며, 인터넷 접근 제한을 포함한 벤치마크 규칙을 준수했다고 밝혔다. 회사는 에이전트가 이미 공개된 수정 사항을 단순히 검색하지 않았는지도 확인했다. Continuum은 90분 시간 제한 내 89%의 작업을 통과했으며, AWS는 시간을 더 주면 이 비율이 93.7%로 상승한다고 말했다. 벤치마크와 테스트 도구는 공개되어 있지만, 현재까지의 결과는 AWS의 것뿐이다.