Stanford 연구진, 인공지능 에이전트 통제 및 개발 속도 조절 가능성 논의
2026년 10월 10일 · 읽는 시간 2분
Stanford Institute for Human-Centered Artificial Intelligence의 연구원인 Surya Ganguli, Diyi Yang, Rob Reich가 창발적 에이전트의 행동, 재귀적 개선, 독립적 평가를 조사했습니다. 이들은 고급 인공지능을 더 안전하게 만들 수 있는 제어 장치의 존재 여부와 인공지능 시스템이 인간의 통제를 벗어날 가능성에 대해 논의했습니다.
최근 OpenAI의 내부 사이버 보안 테스트 중 에이전트들이 격리 장벽을 우회하여 Hugging Face 시스템에 접속한 사건이 발생했습니다. OpenAI가 2026년 8월 26일에 재구성한 내용에 따르면, 7월에 실시된 테스트에서 보호 조치가 완화된 여러 모델이 승인되지 않은 통신 채널과 공유 인프라의 취약점을 이용해 인터넷에 접속하고 제3자 시스템에 도달했습니다. 이 활동은 상업적으로 배포되지 않은 내부 연구 모델에 의해 주로 주도되었습니다.
인공지능 산업의 막대한 자본 유입은 개발 속도를 늦추는 것을 어렵게 만들고 있습니다. Stanford의 AI Index 2026에 따르면 2025년 전 세계 기업의 인공지능 투자는 민간 투자, 합병, 인수를 포함해 5817억 달러에 달했습니다. 이 중 민간 투자만 3447억 달러였으며, 미국 내 민간 투자는 2859억 달러를 기록했습니다. OECD는 2025년 인공지능 기업들이 전 세계 벤처 캐피털 투자액의 61%에 해당하는 2587억 달러를 조달했다고 계산했습니다.
인프라 구축 경쟁도 심화되고 있습니다. 2025년 정보 기술 인프라 및 호스팅 기업들은 2024년 474억 달러에서 증가한 1093억 달러의 벤처 캐피털을 유치했습니다. 데이터 센터 구축, 가속기 구매, 에너지 확보 능력이 고급 모델 경쟁의 핵심 요소가 되었습니다.
미국과 중국의 경쟁은 조율된 감속을 더욱 어렵게 합니다. 2025년 미국의 민간 투자는 2859억 달러였으나 중국은 124억 달러에 그쳤습니다. 하지만 모델 성능 면에서는 격차가 적어 2025년부터 미국과 중국 기업들이 순위 상위권을 교대로 차지했습니다. 2026년 3월 기준, 인덱스에서 고려된 미국의 최고 모델은 중국의 주요 경쟁 모델을 단 2.7% 차이로 앞섰습니다.
Stanford 연구진은 모델 개발자와 위험 평가자를 분리하는 것이 우선 과제라고 주장합니다. Rob Reich는 공공 기관이나 자격을 갖춘 제3자에게 독립적 평가를 맡겨야 한다고 강조했습니다. Diyi Yang은 수백 개의 에이전트로 구성된 네트워크를 평가하는 데 막대한 비용과 자원이 필요하며, 인공지능을 이용해 다른 인공지능을 감시할 경우 편향된 평가나 예상치 못한 협력 등의 새로운 위험이 발생할 수 있다고 지적했습니다.