인공지능 텍스트 탐지기의 낮은 정확도와 작동 원리 분석

인공지능 텍스트 탐지기들이 실제 사용 환경에서 낮은 정확도를 보이며 사람의 글을 인공지능이 작성한 것으로 오판하는 사례가 빈번하게 발생하고 있습니다. 성경과 같은 텍스트가 인공지능 작성물로 판정되거나, 학생들이 직접 쓴 과제물이 인공지능 사용으로 오해받아 불이익을 받는 상황이 이어지고 있습니다.

이러한 탐지기들은 주로 두 가지 지표를 측정합니다. 첫 번째는 다음 단어의 예측 가능성을 나타내는 퍼플렉시티로, 인공지능은 통계적으로 가장 확률이 높은 단어를 선택하므로 이 수치가 낮게 나타나는 경향이 있습니다. 두 번째는 문장 길이와 복잡성의 변동성을 측정하는 버스티네스로, 인공지능은 보통 15단어에서 25단어 사이의 일정한 문장 길이와 중립적인 톤을 유지하는 반면 사람은 매우 짧거나 긴 문장을 섞어 사용하는 특성이 있습니다.

주요 서비스 중 GPTZero는 1,700만 명의 사용자를 보유하고 있으며, 완전 생성 텍스트에 대해 99%, 혼합 텍스트에 대해 96.5%의 정확도를 주장합니다. 하지만 실제 사례에서는 오판율이 11%에서 최대 61.3%까지 치솟는 것으로 나타났습니다. Turnitin은 수십억 개의 학생 과제 데이터를 학습하여 업계 표준으로 간주되며, 20%에서 100% 사이의 점수가 나올 때 인공지능 생성물로 판단합니다. Originality는 신경망 분류기를 사용하여 출판사와 콘텐츠 대행사에서 주로 활용하며, ZeroGPT와 Copyleaks는 상대적으로 우회하기 쉬운 것으로 평가됩니다.

독립적인 연구 결과는 개발사의 주장과 큰 차이를 보입니다. 6개의 주요 탐지기를 테스트한 결과 평균 정확도는 39.5%에 불과했으며, 텍스트를 약간만 수정해도 17.4%까지 떨어졌습니다. 특히 스탠퍼드 대학교 연구진은 탐지기들이 영어가 모국어가 아닌 사람이 쓴 격식 있는 글을 인공지능 생성물로 오인하는 체계적인 차별 문제가 있음을 발견했습니다. 또한 Google Research의 Dipper 모델을 사용해 문장을 바꾸면 DetectGPT의 정확도가 70.3%에서 4.6%로 급락하는 현상이 확인되었습니다.

탐지기들이 한계를 보이는 이유는 텍스트의 의미를 이해하는 것이 아니라 단어 빈도나 임베딩 기하학 같은 취약한 통계적 패턴에 의존하기 때문입니다. GPTZero의 개발자조차 어떤 탐지기도 100% 정확도를 보장할 수 없으므로, 프로그램의 판정을 최종적인 증거로 사용하거나 처벌의 근거로 삼아서는 안 된다고 인정했습니다.