LLM MCP Bridge 🌉

Un servidor MCP (Model Context Protocol) agnóstico para cualquier API compatible con OpenAI. Permite analizar y evaluar la calidad de modelos LLM.

🎯 Proveedores Soportados

Cualquier servidor que implemente la OpenAI API:

Proveedor	URL Base Típica
LM Studio	http://localhost:1234/v1
Ollama	http://localhost:11434/v1
vLLM	http://localhost:8000/v1
LocalAI	http://localhost:8080/v1
llama.cpp	http://localhost:8080/v1
OpenAI	https://api.openai.com/v1
Azure OpenAI	https://{resource}.openai.azure.com/
Together.ai	https://api.together.xyz/v1
Groq	https://api.groq.com/openai/v1
Anyscale	https://api.endpoints.anyscale.com/v1

🛠️ Herramientas MCP Disponibles

Herramienta	Descripción
llm_get_models	Obtiene lista de modelos (JSON)
llm_status	Verifica conexión con el servidor
llm_list_models	Lista modelos (formato legible)
llm_chat	Chat con métricas de rendimiento
llm_benchmark	Benchmark con múltiples prompts
llm_evaluate_coherence	Evalúa consistencia del modelo
llm_test_capabilities	Test en diferentes áreas
llm_compare_models	Compara múltiples modelos
llm_quality_report	Reporte completo de calidad

Parámetros Configurables en Chat

Todas las herramientas aceptan baseURL y apiKey opcionales para override de conexión.

Parámetro	Descripción	Default
prompt	Texto a enviar al modelo	requerido
model	ID del modelo	modelo por defecto
maxTokens	Máximo de tokens	512
temperature	Temperatura (0-2)	0.7
topP	Nucleus sampling (0-1)	-
topK	Top K sampling	-
repeatPenalty	Penalización repetición	-
presencePenalty	Penalización presencia	-
frequencyPenalty	Penalización frecuencia	-
stop	Secuencias de parada	-
systemPrompt	Prompt de sistema	-

📋 Requisitos

• Node.js >= 18
• Un servidor LLM con API compatible con OpenAI

🚀 Instalación

cd llm-mcp-bridge
npm install
npm run build

⚙️ Configuración en VS Code

Añade a tu archivo mcp.json de VS Code:

LM Studio (local)

{
  "servers": {
    "llm-local": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "http://localhost:1234/v1"
      }
    }
  }
}

Ollama

{
  "servers": {
    "ollama": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "http://localhost:11434/v1"
      }
    }
  }
}

OpenAI

{
  "servers": {
    "openai": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "https://api.openai.com/v1",
        "LLM_API_KEY": "sk-..."
      }
    }
  }
}

Groq

{
  "servers": {
    "groq": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "https://api.groq.com/openai/v1",
        "LLM_API_KEY": "gsk_..."
      }
    }
  }
}

Múltiples proveedores

{
  "servers": {
    "llm-lmstudio": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "http://localhost:1234/v1"
      }
    },
    "llm-ollama": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "http://localhost:11434/v1"
      }
    },
    "llm-openai": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "https://api.openai.com/v1",
        "LLM_API_KEY": "sk-..."
      }
    }
  }
}

🔧 Variables de Entorno

Variable	Descripción	Default
LLM_BASE_URL	URL del servidor LLM	http://localhost:1234/v1
LLM_API_KEY	API Key (requerida para servicios cloud)	-

📖 Ejemplos de Uso

Verificar conexión

@llm_status

Obtener modelos (JSON)

@llm_get_models

Chat con métricas

@llm_chat prompt="Explica qué es machine learning" temperature=0.5 maxTokens=256

Chat con otro servidor (override)

@llm_chat prompt="Hola" baseURL="http://localhost:11434/v1"

Benchmark

@llm_benchmark prompts=["Hola", "¿Qué hora es?", "Cuenta hasta 10"]

Reporte de calidad

@llm_quality_report

Comparar modelos

@llm_compare_models prompt="Escribe un haiku sobre la luna"

🏗️ Estructura del Proyecto

llm-mcp-bridge/
├── src/
│   ├── index.ts       # Servidor MCP principal
│   ├── llm-client.ts  # Cliente OpenAI-compatible
│   └── tools.ts       # Definiciones de herramientas MCP
├── dist/              # Código compilado
├── package.json
├── tsconfig.json
└── README.md

📊 Métricas de Calidad

El servidor analiza:

• Latencia: Tiempo total de respuesta (ms)
• Tokens/segundo: Velocidad de generación
• Coherencia: Consistencia entre múltiples ejecuciones
• Capacidades: Rendimiento en diferentes tipos de tareas
  • Razonamiento
  • Programación
  • Creatividad
  • Conocimiento factual
  • Seguir instrucciones

🤝 Contribuir

¡Las contribuciones son bienvenidas! Abre un issue o pull request.

📄 Licencia

MIT