⚙️Core Features
Deep dive into evaluation modes, custom evaluators, and RAG testing
7 tutorials
Tres Formas de Evaluar: Datasets, Filas Inline y Archivos
Modo 1 (dataset_id), modo 2 (filas JSON inline), modo 3 (subir CSV/JSON). Cuándo usar cada uno. Ejemplos completos con curl.
Evaluaciones Síncronas vs Asíncronas: Cuándo Usar Cada Una
Sync para datasets pequeños + CI/CD, async para datasets grandes, polling de estado, webhooks de completado, streaming SSE.
Evaluadores Personalizados: Crea tu Propio LLM-as-a-Judge
Define evaluadores custom con prompts especializados (ej: legal-accuracy, tone-politeness, code-correctness). Versionado, thresholds, scope.
Evaluando Agentes RAG: Grounding y Faithfulness
Cómo evaluar agentes con contexto (RAG). Proporcionar context en datasets. ¿La respuesta se basa en el contexto o alucina?
Compara Agentes y Detecta Regresiones con Baseline Runs
Guarda una evaluación como baseline, compara nuevas versiones, detecta si los scores empeoraron. Flujo: deploy staging → evaluar → comparar → decidir.
Expected Output: El Secreto para Evaluaciones Precisas
Cómo escribir expected_output efectivo, cómo afecta los scores, cuándo es necesario y cuándo no. Ejemplos de buenos vs malos expected outputs.
Multi-Tenant y Organizaciones: Gestiona tu Equipo
Crea una organización, invita miembros, evaluadores custom con scope org, ve evaluaciones del equipo, API keys por miembro. RBAC y colaboración.