Por Qué Importa la Evaluación RAG
Los agentes RAG recuperan documentos y los usan para responder. El riesgo principal: alucinación — el agente puede generar respuestas que suenan plausibles pero no están respaldadas por los documentos recuperados. La métrica Faithfulness de AI Evaluator detecta exactamente esto.
El Flujo de Evaluación RAG
Base de Conocimiento → Tu Agente (RAG) → AI Evaluator (Juez). El agente recupera documentos y genera respuesta. El juez compara la respuesta contra el contexto → puntuación de Faithfulness.
Paso 1: Diseñá un Dataset de Prueba RAG
Cada fila debe incluir context — los documentos exactos que tu agente debería recuperar para esa consulta.
Paso 2: Creá el Dataset
Usá la API para crear un dataset con filas que incluyan input, expected_output y context.
Paso 3: Ejecutá la Evaluación
Siempre incluí faithfulness y hallucination al evaluar agentes RAG. G-Eval solo no detecta problemas de fundamentación.
Paso 4: Interpretá Resultados Específicos RAG
Buena respuesta RAG: fundamentada en el contexto, Faithfulness alto. Mala respuesta RAG: alucina información no presente en el contexto, Faithfulness bajo.
Paso 5: Probá la Calidad de Recuperación
Faithfulness también revela problemas de recuperación. Si el agente recupera el documento equivocado, la respuesta va a alucinar y Faithfulness lo va a detectar.
Estrategia de Prueba para Agentes RAG
Probá calidad de recuperación, precisión de fundamentación, información faltante, contexto contradictorio y consultas fuera de alcance.
Mejores Prácticas
Proporcioná el contexto exacto que tu recuperador debería encontrar. Probá la recuperación por separado de la generación. Usá umbral Faithfulness ≥ 0.80 para producción.