Evaluadores Personalizados: Crea tu Propio LLM-as-a-Judge

Las métricas integradas cubren la calidad general. Pero tu dominio tiene requisitos específicos: cumplimiento legal, voz de marca, precisión médica, guías de estilo de código. Los evaluadores personalizados te permiten definir esto como prompts LLM-as-a-Judge — sin código.

{"name": "cumplimiento-legal", "prompt": "Sos un revisor de cumplimiento legal...", "threshold": 0.80}

Un buen prompt debe definir el rol, establecer los criterios, dar ejemplos y especificar el formato "Score: <0.0-1.0>\nReason: ". Incluye ejemplos para cumplimiento legal, voz de marca y calidad de código.

Andá a Custom Evaluators en la barra lateral, cliqueá "New Evaluator", ingresá nombre, prompt y umbral, y creá.

curl -X POST https://api.aievaluator.dev/api/v1/tenants/me/evaluators \
  -H "X-API-Key: iae_your_key_here" \
  -d '{"name": "cumplimiento-legal", "prompt": "...", "threshold": 0.80}'

Usá el UUID del evaluador en lugar de un nombre de métrica integrada en el array metrics. Se pueden mezclar.

Los evaluadores personalizados aparecen automáticamente en el playground cuando estás logueado.

Al actualizar el prompt se crea automáticamente una nueva versión. Las evaluaciones pasadas referencian la versión que usaron — las puntuaciones son reproducibles.

Sé específico, incluí ejemplos concretos, usá el formato Score/Reason, probá primero con respuestas conocidas, empezá con umbral 0.7 y versioná tus prompts.

Free: 3, Registered: 5, Pro: 20, Enterprise: Ilimitado.

1. Evaluadores personalizados en CI/CD
2. Evaluar agentes RAG con contexto
3. Ensemble judging con múltiples jueces