AI Evaluator
🚀 CI/CD⭐⭐⭐·12 min read·1 prerequisite

Evaluadores Personalizados en CI/CD: Métricas Específicas de Dominio

Define evaluadores custom para CI/CD (ej: legal-compliance, brand-tone). Úsalos en GitHub Actions o GitLab CI. Versionado automático.

·By AI Evaluator
métricas custom ci cdevaluación ia específica dominioevaluador custom ci cdverificación compliance legal iaevaluador tono marca

Por Qué Evaluadores Personalizados en CI/CD

Las métricas integradas son geniales, pero tu dominio tiene requisitos específicos. Un evaluador personalizado en CI/CD aplica automáticamente reglas de cumplimiento legal, voz de marca o seguridad.


Paso 1: Creá Tu Evaluador Personalizado

Creá el evaluador por dashboard o API y guardá el UUID.


Paso 2: Usalo en GitHub Actions

Referenciá el UUID en el input metrics mezclado con métricas integradas.


Paso 3: Usalo en GitLab CI

Mismo enfoque — UUIDs en la variable metrics.


Paso 4: Evaluadores Inline (Sin UUID)

Definí evaluadores directamente en el YAML del workflow. Son efímeros.


Versionado en CI/CD

Fijá versiones específicas en producción para evitar sorpresas.


Umbrales por Métrica en CI/CD

Usá post-procesamiento con jq para control por métrica.


Ejemplo: Gate de Seguridad y Cumplimiento

Ejemplo completo para un agente que maneja datos financieros con dataset de seguridad.


Mejores Prácticas

Probá evaluadores en el playground antes de CI/CD. Fijá versiones en producción. Usá inline para pruebas experimentales. Monitoreá el desempeño.


🔗 Próximos Pasos