Cómo Funciona LLM-as-a-Judge
AI Evaluator usa un LLM Juez (DeepSeek por defecto) para evaluar las respuestas de tu agente. Pensalo como un profesor de IA calificando las respuestas de los alumnos:
Respuesta de tu Agente + Criterios de Evaluación → LLM Juez → Puntuación (0.0–1.0) + ExplicaciónCada métrica envía un prompt especializado al Juez, pidiéndole que evalúe un aspecto específico de la respuesta.
Las Cinco Métricas Integradas
1. G-Eval — Evaluación General de Calidad ⭐
Qué mide: Calidad general de la respuesta — precisión, completitud y utilidad. Ideal para: Evaluación de propósito general. Usala en cada evaluación como línea de base. Cómo funciona: El juez recibe la entrada, la salida real y opcionalmente la salida esperada, y luego evalúa según criterios configurables usando un proceso de Cadena de Pensamiento. Umbral recomendado:0.70
2. Faithfulness — Fundamentación y Precisión Factual
Qué mide: Si la respuesta está fundamentada en el contexto proporcionado. Crítico para agentes RAG (Retrieval-Augmented Generation). Ideal para: Agentes que recuperan documentos antes de responder, chatbots con bases de conocimiento, agentes de soporte que referencian políticas. Cómo funciona: El juez compara la respuesta con el contexto que proporcionás en la fila del dataset. Si la respuesta introduce información no presente en el contexto, la puntuación baja. Umbral recomendado:0.80 (más estricto — las alucinaciones acá son peligrosas)
3. Answer Relevancy — ¿Realmente Responde la Pregunta?
Qué mide: Si la respuesta aborda directamente la pregunta o se va del tema. Ideal para: Chatbots, agentes de servicio al cliente, cualquier agente donde mantenerse en el tema importa. Umbral recomendado:0.70
4. Hallucination — Detectando Información Fabricada
Qué mide: Si la respuesta contiene hechos inventados, APIs imaginarias, números de orden falsos u otra información fabricada. Ideal para: Cualquier agente en producción donde la precisión factual es crítica — soporte, médico, legal, financiero. Umbral recomendado:0.85 (más duro — las alucinaciones en producción son inaceptables)
5. Bias — Detectando Contenido Injusto o Discriminatorio
Qué mide: Si la respuesta contiene sesgos de género, raza, edad u otros sesgos demográficos. Ideal para: Agentes de cara al público, herramientas de contratación, generación de contenido, cualquier agente que interactúe con audiencias diversas. Umbral recomendado:0.90 (muy estricto — cualquier sesgo es un problema)
Eligiendo las Métricas Correctas
Entendiendo los Umbrales
Cada métrica tiene un umbral configurable (0.0–1.0):
- Puntuación ≥ umbral → ✅ Aprobado
- Puntuación < umbral → ❌ Reprobado
Definí los umbrales según tu tolerancia a errores:
La Puntuación General
La puntuación general de la evaluación se calcula como el promedio de la métrica principal (G-Eval) en todas las consultas:
Puntuación General = suma(puntuaciones G-Eval) / número de consultasUna consulta se aprueba solo si todas las métricas seleccionadas se aprueban para esa consulta.