MCP-LLM 桥接器

一个 TypeScript 实现，用于将本地 LLM（通过 Ollama）连接到模型上下文协议 (MCP) 服务器。 此桥接器允许开源模型使用与 Claude 相同的工具和功能，从而实现强大的本地 AI 助手。

概述

本项目将本地大型语言模型与 MCP 服务器桥接，这些服务器提供各种功能，例如：

• 文件系统操作
• Brave 网络搜索
• GitHub 交互
• Google Drive 和 Gmail 集成
• 内存/存储
• 使用 Flux 生成图像

该桥接器在 LLM 的输出和 MCP 的 JSON-RPC 协议之间进行转换，允许任何与 Ollama 兼容的模型像 Claude 一样使用这些工具。

当前设置

• LLM: 使用 Qwen 2.5 7B (qwen2.5-coder:7b-instruct) 通过 Ollama
• MCPs:
  • 文件系统操作 (@modelcontextprotocol/server-filesystem)
  • Brave 搜索 (@modelcontextprotocol/server-brave-search)
  • GitHub (@modelcontextprotocol/server-github)
  • 内存 (@modelcontextprotocol/server-memory)
  • Flux 图像生成 (@patruff/server-flux)
  • Gmail & Drive (@patruff/server-gmail-drive)

架构

• 桥接器: 管理工具注册和执行的核心组件
• LLM 客户端: 处理 Ollama 交互并格式化工具调用
• MCP 客户端: 管理 MCP 服务器连接和 JSON-RPC 通信
• 工具路由器: 根据工具类型将请求路由到适当的 MCP

主要特性

• 支持多 MCP，具有动态工具路由
• 用于工具调用的结构化输出验证
• 从用户提示中自动检测工具
• 强大的 Ollama 进程管理
• 详细的日志记录和错误处理

设置

1. 安装 Ollama 和所需的模型：

ollama pull qwen2.5-coder:7b-instruct

2. 安装 MCP 服务器：

npm install -g @modelcontextprotocol/server-filesystem
npm install -g @modelcontextprotocol/server-brave-search
npm install -g @modelcontextprotocol/server-github
npm install -g @modelcontextprotocol/server-memory
npm install -g @patruff/server-flux
npm install -g @patruff/server-gmail-drive

3. 配置凭据：
   • 为 Brave 搜索设置 BRAVE_API_KEY
   • 为 GitHub 设置 GITHUB_PERSONAL_ACCESS_TOKEN
   • 为 Flux 设置 REPLICATE_API_TOKEN
   • 运行 Gmail/Drive MCP 身份验证：node path/to/gmail-drive/index.js auth
   • 例如 node C:\Users\patru\AppData\Roaming\npm\node_modules@patruff\server-gmail-drive\dist\index.js auth

配置

桥接器通过 bridge_config.json 进行配置：

• MCP 服务器定义
• LLM 设置（模型、温度等）
• 工具权限和路径

示例：

{
  "mcpServers": {
    "filesystem": {
      "command": "node",
      "args": ["path/to/server-filesystem/dist/index.js"],
      "allowedDirectory": "workspace/path"
    },
    // ... 其他 MCP 配置
  },
  "llm": {
    "model": "qwen2.5-coder:7b-instruct",
    "baseUrl": "http://localhost:11434"
  }
}

用法

1. 启动桥接器：

npm run start

2. 可用命令：
   • list-tools: 显示可用工具
   • 常规文本：将提示发送到 LLM
   • quit: 退出程序

示例交互：

> 在网上搜索“最新的 TypeScript 功能”
[使用 Brave 搜索 MCP 查找结果]

> 创建一个名为“project-docs”的新文件夹
[使用文件系统 MCP 创建目录]

> 向 user@example.com 发送电子邮件
[使用 Gmail MCP 撰写和发送电子邮件]

技术细节

工具检测

该桥接器包括基于用户输入的智能工具检测：

• 电子邮件操作：通过电子邮件地址和关键字检测
• Drive 操作：通过文件/文件夹关键字检测
• 搜索操作：根据上下文路由到适当的搜索工具

响应处理

响应通过多个阶段处理：

1. LLM 生成结构化的工具调用
2. 桥接器验证并路由到适当的 MCP
3. MCP 执行操作并返回结果
4. 桥接器格式化响应以供用户使用

扩展功能

此桥接器有效地将 Claude 的工具功能带到本地模型：

• 文件系统操作
• 网络搜索和研究
• 电子邮件和文档管理
• 代码和 GitHub 交互
• 图像生成
• 持久内存

所有这些都在本地完全运行，并使用开源模型。

未来改进

• 增加对更多 MCP 的支持
• 实现并行工具执行
• 添加流式响应
• 增强错误恢复
• 添加对话记忆
• 支持更多 Ollama 模型

相关项目

此桥接器与更广泛的 Claude 生态系统集成：

• 模型上下文协议 (MCP)
• Claude 桌面配置
• Ollama 项目
• 各种 MCP 服务器实现

最终结果是一个强大的本地 AI 助手，可以匹配 Claude 的许多功能，同时完全在您自己的硬件上运行。