Jueces Locales con Ollama y vLLM: LLM-as-a-Judge Sin Costo

$0 por evaluación, privacidad de datos, capacidad offline, personalizable. El tradeoff: modelos locales son menos precisos que GPT-4 o DeepSeek.

Instalá Ollama, pulleá un modelo (qwen2.5:14b recomendado), configurá la engine y usá "judge": "local".

vLLM para alto throughput con mejor uso de GPU. Usá vllm serve y apuntá la engine al endpoint vLLM.

Phi-3 3.8B (⭐⭐ rápido), Llama 3.1 8B (⭐⭐⭐ rápido), Qwen 2.5 14B (⭐⭐⭐⭐ medio, recomendado), Qwen 2.5 32B (⭐⭐⭐⭐⭐ lento).

Compará contra DeepSeek, verificá correlación de scores, calibrá umbrales.

Setup completo con Ollama + Engine en Docker Compose.

< 50 consultas: CPU. 50-200: RTX 3060/4060 12GB. 200-500: RTX 3090/4090 24GB. 500+: 2× RTX 3090 o A100 48GB.

Connection refused → Ollama no está corriendo. Muy lento → modelo muy grande. Out of memory → reducir max-model-len. Scores distintos → calibrar.

1. Self-hosting
2. Ensemble judging
3. Guía LLM-as-a-Judge