El Problema de la Regresión
Actualizás el prompt de tu agente, cambiás el modelo o agregás una feature. ¿Cómo sabés que no rompiste nada? Las ejecuciones baseline resuelven esto: guardá una evaluación buena conocida y compará cada nueva ejecución contra ella.
Paso 1: Creá una Baseline
Ejecutá una evaluación completa contra tu agente de producción y guardá el ID. Ese es tu baseline.
Paso 2: Ejecutá una Nueva Evaluación con Referencia Baseline
Después de hacer cambios, ejecutá una nueva evaluación referenciando la baseline.
Paso 3: Compará los Resultados
Obtené ambas evaluaciones y compará las puntuaciones generales. Un delta negativo > 0.05 indica regresión significativa.
Paso 4: Compará Puntuaciones por Consulta
Una caída en la puntuación general esconde detalles. Compará consulta por consulta para encontrar exactamente qué empeoró.
Paso 5: Automatizá en CI/CD
Configurá un umbral mínimo de puntuación en tu pipeline CI/CD. Si la puntuación cae por debajo, el pipeline falla y bloquea el deploy.
Estrategia de Detección de Regresión
Score ↑ (>0.03): mejora, deploy y actualizar baseline. Score ~ (dentro 0.03): sin cambio, deploy. Score ↓ (>0.05): regresión, bloquear.
Comparando Entre Métricas
Una métrica puede bajar mientras otras mejoran. El contexto importa — no mires solo el número general.
Mejores Prácticas
Usá el mismo dataset para baseline y comparación. Ejecutá baselines en producción antes de cambios. Compará por consulta. Actualizá baselines después de mejoras confirmadas.