FusionBrain, API 기반 의료 진단 시스템의 신뢰도 평가 방법 연구
2026년 11월 9일 · 읽는 시간 2분
FusionBrain 연구소의 연구진이 API로만 제공되는 대규모 언어 모델 기반 의료 진단 시스템의 응답 신뢰도를 평가하는 연구를 수행했습니다. 이 연구는 EMNLP 2026의 산업 트랙에서 발표되었으며, UncertaiNLP 2026 워크숍에서 주목할 만한 연구로 선정되었습니다.
연구진은 의료 분야에서 대규모 언어 모델의 환각 현상이 환자의 건강에 직접적인 영향을 미칠 수 있다는 점에 주목했습니다. 이를 해결하기 위해 모델의 응답에 확신 정도를 부여하는 불확실성 정량화 방법을 탐구했습니다. 특히 모델의 내부 상태나 로짓에 접근할 수 없는 API 기반 환경에서 어떻게 신뢰도를 측정할 것인지에 집중했습니다.
연구에서는 GigaChat-2-Max 모델이 환자의 증상과 병력 대화를 바탕으로 최대 세 가지의 진단 가설을 제시하는 상황을 설정했습니다. 연구진은 각 진단 가설마다 개별적인 신뢰도 평가가 필요하다고 판단했습니다. 이는 하나의 응답 내에서도 근거가 확실한 진단과 그렇지 않은 추측이 공존할 수 있기 때문이며, 이를 평균 내어 표시하는 것은 의료진에게 혼란을 줄 수 있기 때문입니다.
이를 위해 연구진은 기본 모델을 재학습시키지 않고 그 위에 작동하는 가드레일 메커니즘을 구축하여 각 진단에 확신 수준을 할당했습니다. 여기서 확신도는 불확실성 평가 값에서 1을 뺀 값으로 정의되며, 이는 환자의 실제 질병 확률과는 구분되는 모델 출력의 신뢰성을 의미합니다.
연구진은 총 16가지의 불확실성 평가 방법을 비교 분석했습니다. 분석 대상은 세 그룹으로 나뉘었습니다. 첫 번째 그룹은 동일한 질문을 여러 번 생성하여 응답의 일관성을 비교하는 샘플링 방식이며, 두 번째 그룹은 대화 텍스트와 진단 내용만을 사용하여 별도의 분류기를 학습시키는 텍스트 기반 방식입니다. 세 번째 그룹은 토큰 확률이나 은닉 상태와 같은 모델 내부 특징을 사용하는 방식입니다.
연구 과정에서 샘플링 기반 방식은 응답의 의미적 비교라는 난관에 부딪혔습니다. 예를 들어 급성 췌장염과 만성 췌장염의 악화는 일반적인 자연어 추론 모델로는 유사해 보일 수 있으나 의료적으로는 서로 다른 상태입니다. 반대로 표현은 다르지만 전문가가 동일하게 판단하는 경우도 있어, 단순한 의미 비교 모델로는 의료 도메인의 특수성을 반영하기 어렵다는 점이 확인되었습니다.