Por Qué Importa el Expected Output
AI Evaluator usa LLM-as-a-Judge para puntuar respuestas. Sin un expected output, el juez evalúa con criterios generales. Con un expected output, el juez tiene una referencia concreta para comparar.
Cómo el Expected Output Afecta las Puntuaciones
Sin expected output, el juez evalúa subjetivamente. Con un buen expected output, el juez tiene una referencia objetiva y detecta lo que faltó en la respuesta.
Escribiendo Expected Outputs Efectivos
❌ Malo: esperar coincidencia exacta de string. ✅ Bueno: describir los puntos clave que una buena respuesta debería cubrir, no las palabras exactas.
Plantillas para Escenarios Comunes
Customer Support: reconocer el problema, mostrar empatía, dar próximos pasos claros. Technical QA: responder directamente, dar ejemplo de código, citar fuente. E-commerce: confirmar la acción, indicar plazo, mencionar costos.
Cuándo Usar Expected Output
QA factual → siempre. Escritura creativa → a veces. Chat abierto → raramente. Verificación de cumplimiento → siempre. Generación de código → siempre. Resumen → siempre.
Combinando Expected Output con Otras Métricas
Impacto principal en G-Eval (mayor). Impacto moderado en Answer Relevancy. Sin impacto en Faithfulness y Bias.
Anti-Patrones de Expected Output
La trampa "se útil" (muy vago), la trampa "novela" (muy largo), la trampa "contrario" (describe qué NO decir). Mejor: describir qué SÍ incluir en lenguaje simple.
Checklist Rápida
- [ ] Describe puntos clave, no palabras exactas
- [ ] Menos de 150 palabras
- [ ] Enfocado en qué incluir, no qué evitar
- [ ] Específico para distinguir bueno de malo