Conecta tu Propio Agente: Cualquier Endpoint HTTP

• Configurar endpoints de agente en diferentes formatos de API
• Configurar headers de autenticación para tu agente
• Depurar problemas comunes de conexión
• Usar plantillas de request personalizadas para APIs no estándar

AI Evaluator puede llamar a cualquier endpoint HTTP. Vos le decís qué formato espera tu agente:

La mayoría de los servidores LLM open-source son compatibles con OpenAI. Apuntá AI Evaluator a tu endpoint:

curl -X POST https://api.aievaluator.dev/api/v1/playground/evaluate \
  -H "Content-Type: application/json" \
  -H "X-API-Key: iae_your_key_here" \
  -d '{
    "queries": ["¿Cuánto es 2+2?"],
    "agent": {
      "url": "https://your-agent.com/v1/chat/completions",
      "format": "openai"
    },
    "metrics": ["g_eval"]
  }'

Tu agente recibe un request en formato OpenAI y AI Evaluator extrae la respuesta de choices[0].message.content.

Para Anthropic Claude o APIs compatibles, usá format: "claude". El motor agrega automáticamente el header anthropic-version: 2023-06-01.

Si tu agente tiene un formato de API no estándar, usá plantillas personalizadas con placeholders {{message}} y {{max_tokens}}.

Si tu agente requiere una API key o token, pasalo como header:

curl -X POST https://api.aievaluator.dev/api/v1/evaluations/sync \
  -H "X-API-Key: iae_your_key_here" \
  -d '{
    "rows": [{"input": "Hola"}],
    "agent": {"url": "https://your-agent.com/v1/chat", "format": "openai"},
    "agent_headers": {"Authorization": "Bearer sk-your-agent-key"},
    "metrics": ["g_eval"]
  }'

🔒 Seguridad: Tus headers de agente se almacenan encriptados en la base de datos.

En el dashboard, andá a Evaluations → New y usá el campo Agent Endpoint para configurar URL, formato, headers y métricas.

Si tu agente corre en localhost, usá el agente demo internamente o exponelo públicamente con ngrok:

ngrok http 8000
# Usá la URL de ngrok en AI Evaluator

1. Tres formas de ejecutar evaluaciones
2. Configurar AI Quality Gates en GitHub Actions
3. Crear tu primer dataset