Qué Es LLM-as-a-Judge
Por Qué Funciona
Los LLMs muestran fuerte correlación con el juicio humano. Investigaciones clave: G-Eval (0.8+), DeepEval, MT-Bench (85%+), AlpacaEval.
Cómo AI Evaluator lo Implementa
Pipeline: agente recibe consulta → genera respuesta → respuesta + criterios → juez LLM → procesa con Chain-of-Thought → devuelve Score (0.0-1.0) + Motivo.
Fortalezas
Escala (1000s en minutos), consistencia, velocidad (segundos), costo (~$0.0006/consulta), especificidad.
Limitaciones
Sesgo de posición, sesgo de longitud, auto-preferencia, sensibilidad al prompt, costo a escala.
Cuándo Funciona Mejor
✅ Precisión factual, cumplimiento de reglas, detección de alucinaciones. ❌ Escritura creativa, humor, poesía.
Cuándo Usar Evaluación Humana
Jueces LLM para PRs, regresiones nocturnas, screening inicial. Humanos para releases, disputas, calibración, dominios sensibles.
Mejores Prácticas
Temperature=0, calibrar con humanos (>0.80), Chain-of-Thought, controlar sesgo de longitud, ensemble para crítico, monitorear.
La Ventaja de AI Evaluator
Manual: ~$5/consulta, 2-4h para 50. AI Evaluator: ~$0.0006/consulta, 1-2min para 50. Consistencia perfecta. CI/CD nativo.