---
title: Grafana Labs, 인공지능 지능체 성능 측정을 위한 서비스 수준 목표 방법론 제안
url: https://www.elseif.net/ko/grafana-labs
published: 2026-11-04T01:06:44+00:00
language: ko
section: 에이전트
source: https://www.infoq.cn/article/z8vQa2zzGyLiTxIZ8PXH?utm_source=rss&utm_medium=article
organizations: Grafana Labs, Anthropic, OpenTelemetry
publisher: elseif
---

# Grafana Labs, 인공지능 지능체 성능 측정을 위한 서비스 수준 목표 방법론 제안

Grafana Labs가 인공지능 지능체의 실제 성능을 측정하기 위해 신뢰성 공학 방법론을 적용하는 방안을 제시했습니다. 이 회사는 평가, 서비스 수준 목표, 오류 예산을 활용하여 환각, 작업 완료도, 독성 및 비용과 같은 행동을 측정 가능한 목표로 변환하고 지속적으로 모니터링하는 방법을 소개했습니다.

기존의 관측성 지표는 응답 속도나 기술적 오류, 토큰 소비량은 알려주지만 답변의 정확성이나 유용성, 근거 기반 여부는 설명하지 못한다는 한계가 있습니다. 이에 Grafana Labs는 행동 자체를 평가하고 그 결과를 서비스 수준 지표로 변환하여 서비스 수준 목표와 대조하는 방식을 제안했습니다.

평가 단계에서는 지능체 상호작용이 특정 행동 기준을 충족하는지 검토합니다. 여기에는 제공된 문맥에 기반한 응답 여부, 사용자 요청 완료 여부, 독성 콘텐츠 포함 여부, 개인 정보 유출 및 프롬프트 주입 영향 여부 등이 포함됩니다. 평가는 다른 대규모 언어 모델을 심판으로 사용하거나 정규 표현식과 같은 결정론적 검사를 통해 수행될 수 있습니다.

Grafana Labs는 품질이 다차원적이라고 주장하며 단일 품질 점수를 만드는 대신 독립적인 지표를 설정할 것을 권장합니다. 예를 들어 30일 동안 대화의 95%가 사용자 요청을 완료했다는 서비스 수준 목표를 설정하면, 나머지 5%는 팀이 허용할 수 있는 오류 예산이 됩니다.

오류 예산이 충분할 때는 프롬프트나 모델을 조정하는 시도를 할 수 있으며, 예산이 소진되면 새로운 변경보다는 품질 향상에 집중하는 의사결정 모델을 구축할 수 있습니다. 이는 모델 변경이나 프롬프트 수정으로 인해 품질이 서서히 저하되는 현상을 가시화하여 시스템 행동이 신뢰성 경계를 벗어나는지 확인하는 데 유용합니다.

다만 이 방법은 하위 측정의 정확성에 의존한다는 제한이 있습니다. 심판 역할을 하는 모델이 응답을 잘못 분류하면 오류 예산이 허위의 정확성을 제공할 수 있습니다. 따라서 대표성 있는 평가 데이터 세트와 명확한 행동 정의, 수동 검토 및 평가 도구의 지속적인 검증이 필요합니다.

한편 Anthropic은 명확한 작업 정의와 반복 시험을 통해 지능체가 기대 결과를 지속적으로 달성하는지 측정하는 공식 평가 관행을 수립했습니다. OpenTelemetry는 프레임워크와 공급자에 관계없이 지능체 행동을 평가할 수 있도록 추적, 지표, 로그를 위한 표준화된 의미론적 약속을 제정하고 있습니다.