AI Evaluator
🧠 Avanzado⭐⭐⭐⭐·20 min read

Self-Hosting AI Evaluator On-Premise

Despliega engine + frontend + DB en tu propia infraestructura. Docker Compose para dev, Kubernetes para prod. Helm charts. Configuración de jueces locales (vLLM/Ollama).

·By AI Evaluator
evaluación ia self hostedtesting llm on premisedocker compose ai evaluatorkubernetes evaluación llmhelm testing ia

Panorama de Arquitectura

AI Evaluator se puede self-hostear completamente con Frontend (Next.js), Engine API (FastAPI), PostgreSQL y Redis.


Opción 1: Docker Compose (Desarrollo)

Cloná el repo, configurá .env con DEEPSEEK_API_KEY, y ejecutá ./manage.sh up.


Opción 2: Docker Compose Producción

Usá el compose de producción con Gunicorn, Nginx reverse proxy y health checks.


Opción 3: Kubernetes con Helm

Usá los Helm charts en ia-evaluator-infra/helm/ o manifests directamente.


Opción 4: Totalmente Offline / Air-Gapped

Usá juez local (Ollama/vLLM), pre-construí imágenes Docker, desactivá features externas.


Configuración de Base de Datos

PostgreSQL con credenciales por defecto. Migraciones automáticas al iniciar.


Monitoreo

Health endpoint, dashboard Prefect, métricas PostgreSQL, docker stats.


Consideraciones de Escalado

Engine API escalable horizontalmente. Frontend por CDN. PostgreSQL vertical + read replicas.


Checklist de Seguridad

Cambiar password PostgreSQL, TLS/SSL, restringir CORS, secrets manager, firewall, audit logging, backups.


🔗 Próximos Pasos