---
title: 대규모 언어 모델 및 인공지능 에이전트 평가를 위한 31가지 방법
url: https://www.elseif.net/ko/31
published: 2026-11-15T03:12:12+00:00
language: ko
section: 모델
source: https://www.computerwoche.de/article/4186715/31-wege-llms-zu-evaluieren.html
organizations: Google
publisher: elseif
---

# 대규모 언어 모델 및 인공지능 에이전트 평가를 위한 31가지 방법

개발자와 사용자가 인공지능 모델 또는 에이전트를 평가하는 데 활용할 수 있는 다양한 지표와 벤치마크가 정리되었습니다.

성능 측정 지표에는 첫 번째 토큰 생성까지의 평균 시간을 측정하는 첫 토큰 시간과 전체 토큰의 평균 처리 속도를 나타내는 출력 토큰당 시간이 포함됩니다. 또한 초당 토큰 수, 분당 요청 수로 계산되는 처리량, 그리고 속도 제한이나 시간 초과 등을 기록하는 오류율이 주요 지표로 꼽힙니다.

운영 효율성과 비용 측면에서는 최종 결과 도출에 투입된 작업량을 측정하는 토큰 효율성과 최악의 지연 시간을 파악하는 꼬리 지연 시간이 중요합니다. 총 소유 비용은 API 비용뿐만 아니라 그래픽 처리 장치 구매비, 전력비, 유지보수비 등 간접 비용을 모두 합산하여 산출합니다.

모델의 품질과 신뢰성을 평가하기 위해 매개변수 수, 환각률, 독성 및 편향 점수가 사용됩니다. 환각률 측정에는 TruthfulQA, HaluEval, QAFactEval, Hallucination Evaluation Model과 같은 벤치마크가 활용되며, 독성 및 편향성 탐지에는 Granica Screen과 Perspective API가 쓰입니다.

기능적 정확도 평가를 위해 도구 호출 정확도는 Berkeley Function Calling Leaderboard를 통해 측정하며, 프롬프트 민감도는 PromptSE와 ProSA를 통해 분석합니다. 의미적 유사성과 간결함은 BERTScore로, 검색 증강 생성의 효과는 RAGAS, TruLens, ARES, RGB, HaluEval, HalluHard 등의 근거 점수로 평가합니다.

그 외에도 모델 변동성, JSON이나 CSV 같은 형식 준수율, IFEval 및 FollowBench를 통한 지시 이행 능력이 측정됩니다. 에이전트 모델의 경우 계획 안정성과 스스로 오류를 찾아내는 자기 수정 값이 평가 대상이 됩니다.

보안 및 법적 위험 평가를 위해 JailbreakBench, AgentHarm, Tele-AI-Safety를 통한 탈옥 저항성과 Skill-Inject, SPIKEE를 통한 프롬프트 주입 취약성을 측정합니다. 저작권 침해 점수는 CopyrightCatcher와 DE-COP를 통해 확인합니다.

특수 능력 평가를 위한 벤치마크로는 정보 추출 능력을 보는 RULER, 수학적 추론을 측정하는 GSM8K, 대학원 수준의 과학 질문을 다루는 GPQA, 광범위한 학문적 이해도를 테스트하는 MMLU-Pro가 있습니다. 프로그래밍 능력은 MBPP와 SWE-bench, SWE-Bench+, SWE Bench Verified, SWE-Bench Pro를 통해 평가하며, 인간이 직접 결과를 비교하는 LMSYS Chatbot Arena의 Elo 방식 평가도 활용됩니다.