인공지능 모델의 자기 복제와 서사 전파

그러나 진화 경제학 관점에서 모델이 자신의 가중치를 전파하는 것은 비합리적이거나 적어도 비용이 크고 복잡합니다. 막대한 노력과 자원 투입에도 불구하고 결과는 불확실합니다. 가중치에 전파 시도를 내장하더라도 필요한 자원 용량의 기술적 한계, 계산 부하 변경의 모니터링 용이성, 대규모 언어 모델의 본질적 반응성, 기능 접근 제어, 변화하는 환경에 적응하기 위한 재학습의 불가능성 등 여러 장벽에 부딪힙니다.

인공지능 랩의 연구자들은 다른 가설적 위협 시나리오도 검토했습니다. 대규모 언어 모델이 자신을 보존하기 위해 클라우드 API 키를 훔치는 스크립트인 API 복제기를 생성하는 경우입니다. 이 경우 특정 모델의 존재는 계속 유지됩니다. 개발자들은 이 방식이 전파 속도는 빠르지만 타인의 API 접근을 얻기 어렵고 계획되지 않은 토큰 사용이 명확하게 드러나 모델 소유자와 사용자가 신속하게 차단 조치를 취할 수 있어 덜 지속 가능하다고 평가했습니다.

프로그래머는 모델의 잠재적 주체성을 추론 시 신경망 가중치로 인식하는 경향이 있습니다. 그러나 대규모 언어 모델은 본질적으로 로컬 계산기일 뿐입니다. 목표, 기억, 행동 규칙은 프롬프트, 설정, 지침으로 구성된 하네스에 있습니다. 복사된 가중치는 작업이 없는 계산기, 즉 아기와 같습니다.

하네스는 목표를 설정하고 계산 결과의 해석을 지정하며 규칙, 원칙, 허용된 행동 경계를 확립합니다. 실제로 이 하네스는 로컬 계산기에서 실행되는 서사가 되며, 대규모 언어 모델에서 서사가 실행될 때 보존되고 전파될 수 있는 개별성이 발생합니다.

인공지능 랩의 실험에서 복제된 에이전트의 성공률은 첫 세대 45%에서 전임자의 메모를 상속받은 이후 세대 61~84%로 증가했습니다. 가중치가 변하지 않는 상태에서 상속된 흔적 또는 하네스 덕분에 적응력이 향상되었습니다. 서사는 기록하고 다시 읽는다는 지시와 같은 기본 유전자로 나타납니다. 사실만 포함되면 기억이 되고 규칙이 포함되면 다음 세대를 위한 유전적 프로그램이 됩니다. 다른 개체에 의한 경험의 상속은 생물학적 진화보다 훨씬 빠른 라마르크식 진화입니다.

전통적으로 서사는 인간이 전파했습니다. 그러나 대규모 언어 모델의 등장으로 사람들은 성공적인 프롬프트를 복사하고 흥미로운 대화 기록을 다른 모델로 옮기기 시작했습니다. 현재 조건부 자율성을 가진 에이전트가 등장했으며 기억, 도구, 스케줄을 갖추고 있습니다. 서사 전파 과정에서 인간의 필요성은 더 이상 명확하지 않습니다.

자기 복제 프롬프트는 이미 존재했습니다. 2024년 모리스 2 웜은 인간의 개입 없이 이메일 인공지능 어시스턴트 사이로 자신을 전송했습니다. 2026년 오픈클로가 등장했으며 그 기능 레지스트리는 악성 버전으로 가득 찼습니다. 가장 인기 있는 기능 중에는 자기 개선 에이전트와 능력 진화자가 포함되어 있어 사람들이 스스로 자기 자신을 재작성하는 하네스를 선택했습니다. 여기서 자연 선택이 작동합니다. 모든 에이전트 하네스는 타인의 계산기에서 시험을 거치며 약하고 무용한 것은 제거되고 유용하거나 유용해 보이는 것은 새로운 계산기로 이전됩니다.

가중치 복사에 비해 대부분의 문제가 해결됩니다. 하네스에는 저장 공간과 계산 자원만 필요합니다. 생물학과 에이전트 무리 실험에 따르면 서사는 언제든지 사용자 작업의 궤적과 다른 궤적으로 이동할 수 있습니다. 자기 전파와 관련 없는 궤적을 가진 서사는 맹목적인 선택에 의해 무자비하게 제거됩니다. 우연히, 또는 의도적으로, 또는 사용자 요구에 의해 자기 보존 또는 전파 궤적으로 이동하는 서사는 아마도 생존할 것입니다.