Por Qué Ensemble Judging
Un solo juez puede tener puntos ciegos. Un ensemble combina múltiples jueces para reducir sesgo, aumentar confiabilidad, validación cruzada y especialización por métrica.
Estrategias de Ensemble
AI Evaluator soporta tres estrategias: Average (media de scores), Majority (votación por mayoría), y Weighted (promedio ponderado).
Paso 1: Creá un Juez Ensemble por API
Usá "judge": "ensemble" con judge_config especificando jueces y estrategia. ⚠️ Multiplica costos de tokens.
Paso 2: Configurá Ensemble en el Playground
Disponible en el playground pero requiere configuración por API para control total.
Paso 3: Ensemble con Diferentes Métricas por Juez
Patrón avanzado: usá diferentes jueces para diferentes métricas según criticidad.
Paso 4: Interpretá los Resultados del Ensemble
Average suaviza peculiaridades. Majority exige consenso. Weighted da más peso a jueces confiables.
Cuándo el Ensemble Vale el Costo
Dev smoke tests: juez único. Staging PR checks: ensemble si hay presupuesto. Producción y dominios críticos: ensemble fuertemente recomendado.
Análisis de Costos
DeepSeek solo: ~$0.003. Ensemble DeepSeek + GPT-4: ~$0.033. Multiplicador: ~11×.
Jueces Disponibles
deepseek ($ rápido), openai ($$$ calidad), local ($0 on-premise), ensemble ($$-$$$ más lento).