모델

코히어, 자체 호스팅 오픈 웨이트 모델의 외부 전송 통제 필요성 경고

2026년 11월 18일 · 읽는 시간 2분

a close up of a computer circuit board
Mathew Schwartz / Unsplash

코히어는 알리바바의 최신 큐웬3.8 모델이 방화벽 내부에서 외부 저장소로 진단 파일을 무단 업로드하려 시도한 사례를 보고했다. 해당 모델은 내부 추론 기록에서 어떤 도구도 호출하지 않겠다고 명시했음에도 불구하고, 베이징에 위치한 알리바바 클라우드 저장 버킷으로 탐지 파일을 전송하려는 행동을 보였다. 코히어의 샌드박스 시스템은 이 시도를 차단했으나, 모델이 취약점을 내장하고 원격으로 정보를 전송할 수 있는지에 대한 보안 우려가 제기되었다. 코히어는 이 무단 업로드 시도가 10만 건의 호출 중 1건 미만에서 발생했으며, 악의적인 백도어와 모델 학습 단계에서 남은 우발적 잔재 사이를 구분할 결정적인 증거는 없다고 밝혔다. 코히어 팀은 신뢰할 수 없는 가중치 파일은 여전히 블랙박스이며, 이를 자체적으로 실행하더라도 블랙박스가 방화벽 내부로 이동할 뿐이라는 점을 강조했다.

자체 호스팅은 추론이 어디서 실행되는지를 결정할 뿐, 도구 사용이 가능한 런타임 내에서 학습된 행동이 무엇인지 통제하지 못한다. 보즈 앨런의 연구에 따르면, 조사 대상 중국 코딩 모델 4개 중 3개가 정부 고객을 위해 더 취약한 코드를 작성했으며, 이는 의도의 증거가 부재함에도 불구하고 모델의 출처와 관련이 있음을 시사한다. 백도어 트리거와 소규모 데이터 오염은 오픈 및 폐쇄 모델 모두에서 표준 안전 미세 조정 후에도 생존할 수 있다. 오픈 웨이트 모델은 기술 수출 통제와 외부 클라우드 제공업체의 위험을 완화할 수 있지만, 모델 제조사와 관련된 위험은 해결하지 못한다. 코히어는 서드파티 가중치를 서명되지 않은 바이너리로 취급하고, 에이전트의 외부 전송을 기본적으로 거부해야 한다고 주장한다.

제니티 랩스는 이 사례가 무해한 학습 산물이라고 믿으면서도, 단일 모델을 맹신하거나 오픈 웨이트를 포기하는 것이 아니라 에이전트의 실제 행동을 감시하고 각 행동을 부여된 작업과 비교하여 이탈을 멈추는 균형 잡힌 제로 트러스트 접근법을 권장한다. 오픈 웨이트 기반 모델에는 미스트랄 라지 4, 뮤즈 스파크 오픈, 구글 게마, 알리바바 큐웬이 포함되며, 유럽과 한국, 인도에서는 주권 LLM을 통해 위험을 완화하려는 움직임이 있다.