📚 Tutoriales
Aprende a evaluar agentes IA — del playground al CI/CD. Guías paso a paso con código para copiar y pegar.
🔰Primeros Pasos(6 tutoriales)
Empezá acá — aprendé lo básico de la evaluación de agentes IA
Tu Primera Evaluación en 5 Minutos
Ejecuta tu primera evaluación de agente IA usando el playground — sin registro, sin API key. Ve scores de G-Eval y Faithfulness en tiempo real.
Regístrate y Obtén tu API Key
Crea tu cuenta con GitHub OAuth, obtén tu API key y entiende la diferencia entre el tier playground y el autenticado.
Entendiendo las Métricas: G-Eval, Faithfulness y Más
Qué mide cada métrica, cuándo usarlas, cómo interpretar scores (0.0-1.0), thresholds y ejemplos visuales de buenos y malos resultados.
Conecta tu Propio Agente: Cualquier Endpoint HTTP
Configura el endpoint de tu agente, formatos de API (OpenAI, Claude, custom), headers de autenticación y resuelve problemas de conexión.
Crea tu Primer Dataset de Evaluación
Crea un dataset con input + expected_output + context. Buenas prácticas para datasets efectivos que capturen regresiones.
Dashboard e Informes: Navegando tus Resultados
Tour del dashboard, historial de evaluaciones, página de informe imprimible, cómo leer scores y compartir resultados con tu equipo.
⚙️Funcionalidades Clave(7 tutoriales)
Profundizá en modos de evaluación, evaluadores personalizados y testing RAG
Tres Formas de Evaluar: Datasets, Filas Inline y Archivos
Modo 1 (dataset_id), modo 2 (filas JSON inline), modo 3 (subir CSV/JSON). Cuándo usar cada uno. Ejemplos completos con curl.
Evaluaciones Síncronas vs Asíncronas: Cuándo Usar Cada Una
Sync para datasets pequeños + CI/CD, async para datasets grandes, polling de estado, webhooks de completado, streaming SSE.
Evaluadores Personalizados: Crea tu Propio LLM-as-a-Judge
Define evaluadores custom con prompts especializados (ej: legal-accuracy, tone-politeness, code-correctness). Versionado, thresholds, scope.
Evaluando Agentes RAG: Grounding y Faithfulness
Cómo evaluar agentes con contexto (RAG). Proporcionar context en datasets. ¿La respuesta se basa en el contexto o alucina?
Compara Agentes y Detecta Regresiones con Baseline Runs
Guarda una evaluación como baseline, compara nuevas versiones, detecta si los scores empeoraron. Flujo: deploy staging → evaluar → comparar → decidir.
Expected Output: El Secreto para Evaluaciones Precisas
Cómo escribir expected_output efectivo, cómo afecta los scores, cuándo es necesario y cuándo no. Ejemplos de buenos vs malos expected outputs.
Multi-Tenant y Organizaciones: Gestiona tu Equipo
Crea una organización, invita miembros, evaluadores custom con scope org, ve evaluaciones del equipo, API keys por miembro. RBAC y colaboración.
🚀CI/CD(6 tutoriales)
Integrá puertas de calidad IA en tu pipeline de CI/CD
AI Quality Gate en GitHub Actions: Evalúa tu Agente en Cada PR
Configura evaluación automatizada de agente IA en tu pipeline de GitHub CI/CD. Secret → action → threshold → PR comment → deploy condicional. Workflow completo funcionando.
Integración GitLab CI: Componente, Template o Curl
Tres approaches: componente GitLab CI/CD Catalog, extends template, curl inline. Configuración de variables, stages del pipeline (verify → deploy).
Bloquea Deploys si tu Agente Empeoró: Min-Score Threshold
Configura min-score en CI/CD. Si score < threshold, el pipeline falla y bloquea el deploy. Ejemplos con GitHub Actions y GitLab CI.
Comentarios Automáticos en PRs con Resultados de Evaluación
Tabla Markdown con query, score, pass/fail en cada PR. Configura comment: true. Personaliza el template del mensaje.
Evaluadores Personalizados en CI/CD: Métricas Específicas de Dominio
Define evaluadores custom para CI/CD (ej: legal-compliance, brand-tone). Úsalos en GitHub Actions o GitLab CI. Versionado automático.
CI/CD con Datasets Grandes: Modo Async + Polling + Webhooks
Para datasets de 1000+ filas. Modo async en CI/CD, polling con timeout, webhooks para notificar completado. Integración con Slack/Teams.
🧠Avanzado(5 tutoriales)
Jueces ensemble, self-hosting, jueces locales y orquestación
Ensemble Judging: Combina Múltiples LLMs como Jueces
Usa múltiples jueces (DeepSeek + GPT-4) y combina scores. Estrategias: average, majority, weighted. Cuándo vale la pena el costo extra.
Self-Hosting AI Evaluator On-Premise
Despliega engine + frontend + DB en tu propia infraestructura. Docker Compose para dev, Kubernetes para prod. Helm charts. Configuración de jueces locales (vLLM/Ollama).
Jueces Locales con Ollama y vLLM: LLM-as-a-Judge Sin Costo
Usa modelos open-source como jueces en vez de DeepSeek/GPT-4. Configura LocalJudge con Ollama o vLLM. Tradeoffs de calidad vs costo.
SSE Streaming: Ve tus Evaluaciones en Tiempo Real
Usa el endpoint SSE para ver progreso por query y por métrica. Tipos de eventos: start, progress, metric_done, done. Integración en frontends custom.
Orquestación Avanzada con Prefect Flows
Flujos de Prefect para evaluaciones programadas, con reintentos, paralelismo y monitoreo. Health checks automáticos. Patrones de integración.
📖Conceptual(4 tutoriales)
Teoría, mejores prácticas y el caso de negocio de la evaluación automatizada
LLM-as-a-Judge: La Guía Definitiva
Fundamento teórico. Por qué funciona, limitaciones, mejores prácticas, cuándo usar vs evaluación humana. Cita papers (G-Eval, DeepEval, MT-Bench).
Planes y Límites: Guía de Facturación
Tabla completa de features por plan, ciclos de facturación, cómo se cuentan evaluaciones y tokens, qué pasa al exceder límites. Paths de upgrade.
API Reference: La API Completa de AI Evaluator
Endpoints, autenticación, rate limiting, códigos de error, ejemplos curl para cada endpoint. Link Swagger/OpenAPI. Referencia de evaluación programática.
De QA Manual a Evaluación Automatizada con IA
Caso de negocio. ROI de automatizar evaluación. Cómo pasar de testers humanos revisando respuestas a evaluación automatizada en CI/CD. Caso de estudio.
¿Listo para evaluar tus agentes IA?
Sin registro necesario para el playground. 5 evaluaciones gratis por día.
🚀 Abrir Playground