🧠Advanced

Ensemble judging, self-hosting, local judges, and orchestration

5 tutorials

Ensemble Judging: Combina Múltiples LLMs como Jueces

Usa múltiples jueces (DeepSeek + GPT-4) y combina scores. Estrategias: average, majority, weighted. Cuándo vale la pena el costo extra.

juez ensemble llmevaluación múltiples jueces iapuntuación llm ponderada

🧠 Avanzado⭐⭐⭐⭐20 min

Self-Hosting AI Evaluator On-Premise

Despliega engine + frontend + DB en tu propia infraestructura. Docker Compose para dev, Kubernetes para prod. Helm charts. Configuración de jueces locales (vLLM/Ollama).

evaluación ia self hostedtesting llm on premisedocker compose ai evaluator

🧠 Avanzado⭐⭐⭐⭐15 min

Jueces Locales con Ollama y vLLM: LLM-as-a-Judge Sin Costo

Usa modelos open-source como jueces en vez de DeepSeek/GPT-4. Configura LocalJudge con Ollama o vLLM. Tradeoffs de calidad vs costo.

juez llm localevaluador ollamavllm llm como juez

🧠 Avanzado⭐⭐⭐12 min

SSE Streaming: Ve tus Evaluaciones en Tiempo Real

Usa el endpoint SSE para ver progreso por query y por métrica. Tipos de eventos: start, progress, metric_done, done. Integración en frontends custom.

evaluación ia tiempo realsse streaming llmeventos progreso evaluación

🧠 Avanzado⭐⭐⭐⭐15 min

Orquestación Avanzada con Prefect Flows

Flujos de Prefect para evaluaciones programadas, con reintentos, paralelismo y monitoreo. Health checks automáticos. Patrones de integración.

prefect evaluación iatesting llm programadoorquestación evaluación

← Back to all tutorials