Qué Vas a Construir
Un pipeline de CI/CD donde cada PR dispara: deploy a staging → evaluación de IA → comentario en el PR con scores → bloqueo/permiso de merge según umbral de calidad.
Paso 1: Conseguí Tu API Key
Del dashboard de AI Evaluator, andá a Settings → API Keys y creá o copiá tu key. Agregala como secreto de GitHub (AI_EVALUATOR_API_KEY).
Paso 2: Prepará Tu Dataset de Evaluación
Creá un archivo de prueba de regresión en tu repo, ej. evals/regression.json con tus casos de prueba.
Paso 3: Creá el Workflow de GitHub Actions
Creá .github/workflows/ai-quality-gate.yml usando la action aievaluator/ai-evaluator-action@v1 con inputs: api-key, agent-url, dataset, metrics, min-score y comment.
Paso 4: Configurá las Variables del Repositorio
Agregá STAGING_AGENT_URL como variable de Actions.
Paso 5: Abrí un PR y Miralo Funcionar
Hacé un cambio, abrí un PR, y el workflow se dispara automáticamente mostrando resultados.
Paso 6: Leé el Comentario del PR
La action publica automáticamente un resumen como comentario en el PR con scores y estado.
Qué Pasa Cuando Falla
Si el score cae por debajo del umbral, el paso falla, el comentario muestra ❌, y el deploy se bloquea.
Referencia de Inputs de la Action
api-key (requerido), agent-url (requerido), agent-format, metrics, dataset, min-score, mode, timeout, comment, fail-on-limit.
Outputs de la Action
evaluation-id, overall-score, passed, results-json, total-rows, input-tokens, output-tokens, failed-queries.
Smoke Test Rápido (Sin Archivo Dataset)
Usá filas inline en el workflow para un test mínimo sin archivo.