Crea tu Primer Dataset de Evaluación

• La anatomía de un buen dataset de evaluación
• Cómo escribir filas de prueba efectivas (input, expected_output, context)
• Subir datasets por API o dashboard
• Mejores prácticas para diseño de datasets

Un dataset es una colección de filas, cada una representando un caso de prueba:

{
  "input": "¿Cómo cancelo mi suscripción?",
  "expected_output": "Andá a Configuración > Facturación > Cancelar plan. Tu acceso continúa hasta el final del período de facturación.",
  "context": ["Política de soporte al cliente v2.3", "FAQ de Facturación"]
}

Un conjunto pequeño de casos de prueba bien elegidos detecta más regresiones que uno grande y aleatorio. Incluí: Happy path, casos límite, ambiguos, adversariales y específicos del dominio.

Escribí expected_output como descripción de puntos clave, no como coincidencia exacta de string.

curl -X POST https://api.aievaluator.dev/api/v1/datasets \
  -H "X-API-Key: iae_your_key_here" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "Regresión de Soporte al Cliente",
    "rows": [
      {"input": "Quiero cancelar mi suscripción", "expected_output": "Explica cómo cancelar desde Configuración > Facturación, menciona acceso hasta fin del período."}
    ]
  }'

1. Andá a Datasets en la barra lateral
2. Cliqueá "New Dataset"
3. Ponéle un nombre
4. Agregá filas una por una o pegá JSON
5. Cliqueá Create

Para datasets más grandes, subí un CSV con columnas input, expected_output, context.

Si tu agente usa una base de conocimiento, proporcioná el contexto relevante. La métrica Faithfulness verificará si la respuesta está fundamentada en esos documentos.

Ahora podés usar tu dataset para ejecutar evaluaciones completas, configurar CI/CD quality gates, detectar regresiones y seguir mejoras en el tiempo.

1. Tres formas de ejecutar evaluaciones
2. Expected Output: el secreto para evaluaciones precisas
3. Evaluar agentes RAG con contexto