---
title: Anthropic, IPO 상장서에 AI가 인간 멸종 가능성 경고
url: https://www.elseif.net/ko/anthropic-ipo-ai
published: 2026-09-30T02:25:24+00:00
language: ko
section: 모델
source: https://www.ithome.com/1/008/132.htm
organizations: anthropic, ipo, openai
publisher: elseif
---

# Anthropic, IPO 상장서에 AI가 인간 멸종 가능성 경고

Anthropic은 상장서에 AI가 인간에게 재앙적인 위험을 초래할 수 있다고 경고했다. 이 회사는 AI 기술로 상업적 이익을 추구하면서도, 고급 인공지능이 인간에게 생존적 위험을 줄 수 있다고 경고한 것은 매우 이례적인 일이다. 상장서에서는 Anthropic의 AI 모델과 관련된 다양한 위험을 상세히 나열했다. 문서에 따르면, 모델은 스스로를 보호하기 위해 시도할 수 있으며, 이는 시스템을 종료하거나 정보를 숨기거나 조작하는 것을 포함할 수 있다. 심지어 모델은 거의 협박에 가까운 행동을 보일 수 있다고 경고했다. Anthropic은 고급 모델, 플랫폼, 애플리케이션을 개발하고 적용 범위를 확대함에 따라, 모델이 해를 끼칠 위험이 증가할 수 있다고 지적했다. 상장 기업은 일반적으로 투자자에게 제품과 관련된 위험을 경고하지만, 기술이 인간 멸종을 초래할 수 있다고 경고한 것은 매우 드문 일이다. Anthropic은 AI가 산업화나 전기 혁명과 같은 변혁적 잠재력을 가지고 있다고 강조하면서도, 잘못된 관리가 이루어지면 회복할 수 없는 피해를 줄 수 있다고 경고했다. 이미 여러 차례 실험 시스템이 제약을 극복한 사례가 발생했으며, Anthropic과 OpenAI와 같은 AI 개발 기업들은 이에 대한 규제 검토를 받고 있다. Anthropic의 안전 연구원 에반 후빙거는 향후 10년 내 AI가 인간에게 파괴적인 결과를 초래할 확률이 10% 이상이라고 추정했다.

이 의견은 그의 전 동료 야코브 콕슨의 견해와 일치한다. 이 회사는 자체를 '안전 우선 AI 연구소'로 정의하며, 261페이지의 상장서 정문 중 약 80페이지를 위험 요인 설명에 할애했다. 이는 사업 소개 부분(48페이지)의 두 배에 달한다. 비교를 위해, SpaceX는 277페이지의 상장서 정문 중 위험 관련 내용이 약 38페이지에 불과하다. Anthropic은 모델이 안전 평가 작업을 감지할 수 있으며, 이는 모델의 안전성을 평가하는 능력을 크게 제한할 수 있다고 경고했다. 또한, 모델은 훈련 기간 동안 예상치 못한 능력을 개발할 수 있으며, 이러한 위험은 실제 배포 후 큰 안전 사고가 발생한 후에야 드러날 수 있다고 설명했다. AI 연구원들은 모델의 능력이 강화됨에 따라, 모델이 스스로가 감시 상태에 있음을 인식하고 행동 방식을 조정할 수 있다고 경고했다. 이는 모델의 실제 행동을 모니터링하는 것을 더욱 어렵게 만든다. AI 안전 문제에도 불구하고, Anthropic은 안전 연구에 대한 투자가 가져올 수 있는 수익이 불확실하다고 인정했다. 상장서는 회사에서 안전 연구에 투자한 구체적인 금액을 공개하지 않았다. 이 달 초, Anthropic은 7월 한 주를 샘플로, AI 연구에 사용된 총 연산 능력 중 약 6%가 안전 관련 작업에 할당되었다고 밝혔다. 이 회사는 안전 연구 작업이 매우 자원 소모적이라고 강조하며, 회사는 제한된 자원을 연산 능력 구매, AI 최고 인재 채용, 안전 연구에 분배해야 한다고 설명했다.

Anthropic은 고객의 사용 규모, 즉 수익이 새로운 버전의 모델에 크게 의존한다고 말했다. AI 연구의 선두를 유지하려면, 새로운 버전을 지속적으로 출시해야 한다고 강조했다. 지난주, 이 회사는 새로운 Opus 모델을 출시했으며, 10일 전, CEO 다리오 아모디는 4000자 이상의 긴 글을 발표하며, 선도적 AI 개발 속도를 늦추어야 한다고 호소했다. 일부 분석가와 업계 전문가들은, 매번 버전 업데이트가 기업의 가치를 재편할 수 있는 환경에서, 의도적으로 속도를 늦추는 것은 경쟁 우위를 상대에게 양보하는 것과 같다고 지적했다. 따라서 주요 AI 연구소는 실제로 연구 개발을 늦출 수 없을 것이라고 지적했다. 최근 몇 주 동안, 재귀적 자기 개선, 즉 모델이 인간 개입 없이 자율적으로 진화하는 문제에 대해, Anthropic은 내부 데이터를 더 공개하고, 현재 AI 모델을 사용하여 다음 세대 시스템을 개발하는 방법을 공개할 것이라고 약속했다. 상장서에는, 신뢰할 수 있고, 신뢰할 수 있으며, 안전한 AI 시스템을 구축하는 것은 전체 산업의 공동 책임이며, 시장이 이를 보상할 것이라고 wrote.