CI/CD con Datasets Grandes: Modo Async + Polling + Webhooks

Modo sync + 500 filas × 2s = ~17 minutos. El modo async resuelve esto para datasets grandes.

Iniciá la evaluación asíncrona y hacé polling del status hasta que termine. Timeout típico: 5-10 minutos.

Iniciá la evaluación con webhook_url. El job de CI termina inmediatamente, el webhook reporta el resultado.

Para datasets muy grandes (1000+ filas), ejecutá evaluaciones por schedule, no por PR.

Las evaluaciones async guardan resultados incrementalmente. Podés obtener parciales durante la ejecución.

Ejemplo completo con async + polling y jq para parsear.

1-50 filas → Sync. 50-200 → Async + poll. 200-1000 → Async + webhook. 1000+ → Schedule nocturno.

1. SSE Streaming
2. Self-hosting
3. Orquestación con Prefect