Qué Vas a Aprender
Al terminar esta guía, vas a:
- Usar el playground interactivo de AI Evaluator
- Evaluar un agente de IA usando las métricas G-Eval y Faithfulness
- Ver puntuaciones de evaluación en tiempo real y razonamiento detallado
Paso 1: Abrí el Playground
Andá a https://www.aievaluator.dev y scrolleá hasta la sección Playground, o cliqueá el botón "Probar ahora" en la sección principal.
El playground te permite evaluar hasta 5 consultas por ejecución, con 5 ejecuciones gratis por día — sin necesidad de cuenta.
Paso 2: Seleccioná el Agente Demo
En la sección Agent Endpoint, vas a ver dos badges predefinidos:
- Demo Agent (
/api/v1/playground/chat) — un agente de soporte de órdenes de compra integrado, preseleccionado - Custom Agent (
http://localhost:8000/chat) — para conectar tu propio agente más adelante
Dejá Demo Agent seleccionado. Está listo para usar — sin configuración necesaria.
El agente demo es una IA especializada en soporte de órdenes de compra. Puede responder preguntas sobre:
- Estado de órdenes: pendiente, confirmada, en tránsito, entregada, cancelada
- Seguimiento de envíos
- Cancelaciones y reembolsos (política de 30 días)
- Facturación y métodos de pago
Paso 3: Escribí Tus Consultas de Prueba
El playground viene con dos consultas de ejemplo precargadas. Podés editarlas o agregar hasta 3 más.
Probá estas consultas:
I want to cancel my premium subscription, how do I do it?What's the status of order #ORD-2026-4831?How long does a refund take to process?💡 Tip: Para cada consulta, podés agregar opcionalmente un Expected Output para ayudar al evaluador a juzgar la respuesta con más precisión.
Paso 4: Elegí Tus Métricas
AI Evaluator ofrece 5 métricas integradas. Para esta primera evaluación, la selección por defecto es perfecta:
- ✅ G-Eval — Evaluación general de calidad LLM-as-a-Judge (umbral: 0.70)
- ✅ Faithfulness — Mide si la respuesta es fiel al contexto proporcionado (umbral: 0.70)
Cliqueá el botón "Iniciar Evaluación".
Paso 5: Mirá los Resultados
La evaluación se ejecuta en tiempo real. Vas a ver un spinner de carga mientras el motor:
- Envía cada consulta al agente demo
- Recibe la respuesta del agente
- Usa DeepSeek como juez para evaluar cada respuesta
- Calcula las puntuaciones para G-Eval y Faithfulness
Al terminar, vas a ver una tarjeta de resultados para cada consulta:
Consulta: "What's the status of order #ORD-2026-4831?"
G-Eval 0.85 ✅ aprobado
Motivo: La respuesta identifica correctamente el estado de la orden...
Faithfulness 0.92 ✅ aprobado
Motivo: La respuesta se mantiene fundamentada en el contexto proporcionado...
General: aprobado ✅
Paso 6: Experimentá
Ahora probá ajustar cosas:
- Agregá más métricas: Activá Hallucination, Bias o Answer Relevancy
- Ajustá los umbrales: Usá el slider para poner límites más estrictos o más flexibles
- Agregá un expected output: Escribí lo que esperás que diga el agente — el juez va a comparar