---
title: Grafana Labs propõe uso de metas de nível de serviço para medir desempenho de agentes de inteligência artificial
url: https://www.elseif.net/pt-br/grafana-labs-propoe-uso-de-metas-de-nivel-de-servico-para-medir-desempenho-de-agentes-de-inteligencia-artificial
published: 2026-11-03T19:04:55+00:00
language: pt-br
section: Agentes
source: https://www.infoq.cn/article/z8vQa2zzGyLiTxIZ8PXH?utm_source=rss&utm_medium=article
organizations: Grafana Labs, Anthropic, OpenTelemetry
publisher: elseif
---

# Grafana Labs propõe uso de metas de nível de serviço para medir desempenho de agentes de inteligência artificial

A Grafana Labs apresentou uma metodologia baseada em engenharia de confiabilidade para medir se o desempenho de agentes de inteligência artificial é satisfatório. A empresa sugere a utilização de avaliações, metas de nível de serviço e orçamentos de erro para transformar comportamentos como alucinações, toxicidade, custos e a conclusão de tarefas em objetivos mensuráveis e monitorados continuamente.

O método visa superar limitações de métricas tradicionais que indicam apenas a velocidade de resposta, a ausência de erros técnicos ou o consumo de tokens, sem confirmar se a resposta é correta, útil ou baseada em informações existentes. A abordagem da Grafana Labs avalia o comportamento e converte os resultados em indicadores de nível de serviço que podem ser comparados com as metas estabelecidas.

As avaliações verificam se a interação do agente cumpre critérios específicos, como a ausência de conteúdo tóxico, a não divulgação de informações pessoais, a resistência a injeções de comandos, a conclusão do pedido do usuário e a fundamentação na contextualização fornecida. Para isso, podem ser utilizados modelos de linguagem como juízes ou verificações determinísticas, como expressões regulares.

A empresa defende que a qualidade é multidimensional, tratando aspectos como custo, precisão e velocidade como indicadores independentes em vez de uma pontuação única. Isso permite que as equipes definam metas para comportamentos específicos sem que falhas graves sejam ocultadas por uma média geral.

No modelo de governança, a Grafana Labs exemplifica a criação de uma meta onde 95% das conversas em 30 dias devem ser consideradas concluídas, deixando os 5% restantes como um orçamento de erro. Enquanto esse orçamento estiver disponível, as equipes podem ajustar modelos e comandos; quando se esgota, o foco deve mudar para a melhoria da qualidade.

Essa abordagem é útil para detectar a degradação gradual da qualidade, onde o agente continua respondendo, mas as respostas tornam-se menos úteis devido a mudanças em modelos, comandos ou comportamentos do usuário. O monitoramento do consumo do orçamento de erro torna essa deriva visível, sinalizando quando o sistema se afasta dos limites de confiabilidade acordados.

A Grafana Labs sugere estabelecer linhas de base através de avaliações e usar resultados históricos para recomendar valores de meta, que podem ser restringidos conforme o agente amadurece. A iniciativa surgiu de problemas encontrados no monitoramento do Grafana Assistant, diferenciando avaliações offline para validar mudanças de avaliações online para interações reais de produção.

Existem limitações no método, pois a eficácia das metas depende da precisão da medição. Se o modelo de linguagem que atua como juiz classificar respostas incorretamente, o orçamento de erro pode gerar uma precisão falsa. Por isso, a empresa enfatiza a necessidade de conjuntos de dados representativos, revisões humanas para casos ambíguos e a validação contínua dos avaliadores.

Outras organizações seguem caminhos distintos para a mensurabilidade. A Anthropic utiliza práticas de avaliação formal com tarefas definidas e múltiplos pontuadores, diferenciando a capacidade do agente de ter sucesso em pelo menos uma tentativa da capacidade de ter sucesso em todas as tentativas. Já a OpenTelemetry trabalha na padronização de convenções semânticas para telemetria de agentes, visando fornecer uma base consistente para rastreamento, métricas e registros entre diferentes fornecedores e estruturas.