Por Qué Prefect
Para pipelines de evaluación en producción necesitás más que llamadas API ad-hoc: evaluaciones programadas, reintentos, paralelismo, observabilidad y alertas. Prefect ofrece todo esto.
Arquitectura
Prefect está incluido como servicio opcional en Docker Compose. Definí flows para evaluaciones y monitoreo.
Paso 1: Iniciá Prefect
docker compose up -d prefectUI en http://localhost:4200.
Paso 2: Definí un Flow
Creá un flow en Python con tasks para consultas al agente (con reintentos) y evaluación de métricas.
Paso 3: Deployá y Programá el Flow
Registrá el flow en Prefect y programalo con cron (ej. diario a las 3 AM).
Paso 4: Flow de Monitoreo de Salud
Creá un flow separado que verifique la salud del agente cada 15 minutos.
Mejores Prácticas
Usá reintentos para consultas, cacheá respuestas, poné timeouts, registrá scores, usá notificaciones.
Concurrencia de Tareas
Prefect soporta ejecución concurrente para evaluaciones más rápidas.