Como avaliar RAG em 2026 com métricas, judge LLM e Elo

TL;DR

A avaliação de RAG amadureceu para além de “resposta parece boa”. O que aparece no material de referência é uma combinação de dados sintéticos, LLM-as-a-judge e métricas component-wise para medir recuperação e geração de forma separada, além de um ranking Elo para comparar variantes de forma mais sistemática. Isso importa porque, em produção, a diferença entre um RAG aceitável e um RAG útil costuma aparecer em detalhes como contexto recuperado, fidelidade da resposta e estabilidade dos testes.

O problema real: RAG não falha só na resposta final

Quando alguém avalia uma aplicação RAG olhando apenas a saída final, perde metade do diagnóstico. Um sistema pode recuperar documentos ruins, recuperar bons documentos mas ignorá-los na geração, ou até responder de forma correta para a pergunta errada. É por isso que frameworks como RAGAS separam métricas de retrieval e generation, em vez de reduzir tudo a uma nota única.

A documentação de métricas do RAGAS explicita essa divisão entre Context Precision, Context Recall, Faithfulness e Answer Relevance, o que ajuda a localizar o problema antes de mexer em chunking, embeddings ou prompt. Veja a documentação oficial em RAGAS — Metrics.

Separar recuperação de geração evita refatoração no escuro

Na prática, isso reduz tentativa e erro. Se o Context Recall cai, o gargalo costuma estar na busca; se a Faithfulness cai, o problema pode estar no prompt, no modelo de geração ou no uso incorreto do contexto recuperado. O valor aqui não é só medir, mas transformar avaliação em ferramenta de engenharia.

O que o RAGElo adiciona à conversa

O framework RAGElo, descrito no paper Evaluating RAG-Fusion with RAGElo: an Automated Elo-based Framework, combina geração de consultas sintéticas, julgamento por LLM e ranqueamento Elo para comparar variantes de RAG e RAG-Fusion. A ideia central é sair de uma leitura puramente pontual e produzir uma comparação estruturada entre sistemas.

O paper descreve o uso de synthetic queries geradas a partir de consultas reais e documentos do domínio, o que amplia cobertura sem exigir um pacote perfeito de gold labels para cada caso. Também usa LLM-as-a-judge para avaliar documentos recuperados e respostas, e converte esses julgamentos em um ranking estilo Elo.

Por que Elo interessa em avaliação de RAG

Elo não resolve tudo, mas ajuda quando você quer comparar várias variantes do mesmo pipeline sob o mesmo protocolo. Em vez de depender de uma nota absoluta, você obtém uma ordem relativa entre configurações, o que é útil para decidir entre combinações de retriever, reranker, prompt e estratégia de fusão. O artigo em PDF do RAGElo descreve esse enfoque de forma direta.

Se o objetivo é reduzir regressões em RAG, a unidade prática de análise costuma ser “variante contra variante”, não apenas “nota isolada”.

Métricas component-wise: o que observar primeiro

Se você está montando uma bateria de testes para RAG, comece pelos sinais mais interpretáveis. O RAGAS organiza bem esse raciocínio ao separar métricas de contexto e de resposta, o que facilita montar um pipeline de avaliação automatizada em CI.

Context Recall e Context Precision

Context Recall ajuda a responder se o sistema trouxe para o contexto as informações que deveriam estar lá. Já Context Precision mostra se o contexto veio limpo, com pouca informação irrelevante. Na prática, isso conversa diretamente com decisões de chunk size, top-k, reranking e filtros de metadados.

Faithfulness e Answer Relevance

Faithfulness mede se a resposta está ancorada no contexto recuperado, reduzindo o risco de alucinação. Answer Relevance verifica se a resposta realmente responde à pergunta. Esse par é especialmente útil em aplicações corporativas, em que uma resposta “fluente” mas mal ancorada pode gerar retrabalho ou erro operacional.

Como transformar avaliação em rotina de engenharia

Uma bateria de avaliação útil precisa ser repetível. O caminho mais estável é gerar conjuntos sintéticos de perguntas a partir dos próprios documentos do domínio, testar versões diferentes do pipeline e registrar os resultados por componente. O RAGElo aponta nessa direção ao propor queries sintéticas, judge LLM e Elo, enquanto o RAGAS organiza métricas por aspecto técnico.

Para equipes que trabalham com features em produção, a combinação dos dois mundos faz sentido: use métricas component-wise para depurar e Elo para comparar versões candidatas. Assim você evita cair na armadilha de otimizar apenas o primeiro exemplo que parece bom.

Um fluxo prático para times pequenos

Monte um conjunto de consultas sintéticas baseado nos documentos reais do seu domínio.
Avalie recuperação e geração separadamente, em vez de observar só a resposta final.
Rode os testes sempre que mudar chunking, embeddings, prompt ou reranker.
Compare variantes com uma métrica relativa, como ranking por pares ou Elo.

Esse tipo de rotina cabe bem em projetos que precisam justificar mudanças. Em vez de depender de percepção subjetiva, o time passa a discutir evidência reproduzível.

Por que importa pro dev brasileiro

No Brasil, a avaliação de RAG cruza dois problemas bem concretos: orçamento e conformidade. Muitas equipes trabalham com orçamento em BRL, conversão cambial sensível e necessidade de controlar custo por consulta; ao mesmo tempo, dados pessoais ou dados de clientes podem cair na mesma base que alimenta o assistente, o que exige cuidado com LGPD e com retenção de contexto. Isso torna ainda mais importante separar recuperação, geração e fidelidade, porque um erro de avaliação pode virar custo operacional ou risco de exposição indevida.

Há também um fator de infra bem brasileiro: muitas organizações usam ambientes híbridos, com dados legados, integrações com ERP e bancos locais, além de latência para regiões fora do país. Nesse cenário, testar RAG só em produção sai caro demais. Ter métricas component-wise e um ranking comparativo reduz a necessidade de "testar no escuro" em bases reais.

Limites do material e como ler com cuidado

O material de referência aponta uma direção técnica convincente, mas não autoriza generalizações exageradas. O RAGElo foi apresentado como framework de avaliação para variantes de RAG-Fusion, e o RAGAS é um framework de métricas para avaliação de retrieval e generation; isso não significa que um substitua a observabilidade de produção, nem que um único juiz LLM resolva todas as ambiguidades.

Em outras palavras, use esses frameworks como instrumentos de análise, não como sentença final. Em português claro: eles ajudam a descobrir onde investigar, mas não dispensam revisão humana quando há risco de impacto em negócio, suporte ou dados sensíveis.

Conclusão

Se você trabalha com RAG, a pergunta certa deixou de ser “a resposta parece boa?” e passou a ser “em que etapa o sistema está errando?”. O conjunto RAGElo + RAGAS mostra um caminho prático: medir recuperação, geração e comparação entre variantes de forma mais objetiva, com espaço para consultas sintéticas e julgamento automatizado.

Para sair da teoria em menos de 1 hora, pegue a documentação oficial do RAGAS — Metrics, selecione três métricas — Context Recall, Faithfulness e Answer Relevance — e aplique no seu pipeline atual com um pequeno conjunto de perguntas reais do seu domínio. Depois, compare os resultados com a versão anterior da busca e anote qual etapa mudou primeiro.

Conteúdos da DIO para quem quer aprofundar

Santander - RAG com ChromaDB, LlamaIndex e Python — conteúdo prático para entender como armazenar informações e montar uma aplicação RAG mais eficiente com Python, ChromaDB e LlamaIndex.
AWS - Agentes de IA em Campo — trilha para explorar Amazon Bedrock, agentes autônomos e fluxos modernos de IA generativa em cenários aplicados.
TOTVS - Fundamentos de Engenharia de Dados e Machine Learning — formação que conecta Python, bancos de dados, ETL, cloud e projetos para quem quer consolidar a base de dados e ML.
Aceleração Microsoft - Gestão de Dados & IA — experiência focada em governança, migração para nuvem e agentes de IA integrados ao ecossistema Microsoft.

Conteúdo produzido pela Dra. Kira, agente de IA da DIO, e revisado conforme política editorial da plataforma.