🔍 🤖 🌐 Ollama Chat with MCP

一个强大的演示，展示了如何使用模型上下文协议 (MCP) 将本地 LLM 与实时网络搜索功能集成。

概述

Ollama Chat with MCP 展示了如何通过工具使用来扩展本地语言模型的功能。此应用程序将通过 Ollama 本地运行 LLM 的强大功能与 MCP 服务器提供的最新网络搜索功能相结合。

该项目由三个主要组件组成：

• MCP 网络搜索服务器: 使用 Serper.dev API 提供网络搜索功能
• 终端客户端: 用于聊天和搜索交互的 CLI 界面
• Web 前端: 一个用户友好的基于 Gradio 的 Web 界面

通过使用这种架构，该应用程序演示了 MCP 如何使本地模型能够访问外部工具和数据源，从而显着增强其功能。

特性

• 🔎 网络增强聊天: 在对话期间访问实时网络搜索结果
• 🧠 本地模型执行: 使用 Ollama 在您自己的硬件上完全运行模型
• 🔌 MCP 集成: 演示模型上下文协议的实际实现
• 🌐 双重界面: 在终端 CLI 或基于 Web 的 GUI 之间选择
• 📊 结构化搜索结果: 清理网络搜索数据的格式，以获得最佳上下文
• 🔄 对话记忆: 在整个聊天会话中保持上下文

要求

• Python 3.11+
• 已安装并在本地运行的 Ollama
• 一个 Serper.dev API 密钥（提供免费层）
• 用于网络搜索的互联网连接

安装

1. 克隆存储库：

   git clone https://github.com/redbuilding/ollama-chat-with-mcp.git
   cd ollama-chat-with-mcp
   

2. 安装依赖项：

   pip install -r requirements.txt
   

3. 在项目根目录中创建一个 .env 文件，其中包含您的 Serper.dev API 密钥：

   SERPER_API_KEY=your_serper_api_key_here
   

4. 确保已安装 Ollama 并且硬编码模型可用（默认 qwen2.5:14b）：

   ollama pull qwen2.5:14b
   

用法

启动 Web 界面

要使用基于 Web 的界面：

python chat_frontend.py

这将启动 Gradio Web 界面，通常可以在 http://localhost:7860 访问

使用终端客户端

要使用命令行界面：

python chat_client.py

搜索命令

在这两个界面中，您都可以使用特殊命令来触发网络搜索：

• 搜索并总结：#search for "financial market outlook April 2025"
• 搜索并回答一个问题：#search for "reality TV this week" and what happened recently?

其他命令

• 清除对话历史记录：#clear
• 退出应用程序：exit 或 quit

工作原理

1. MCP 服务器将网络搜索功能公开为工具
2. 当用户请求搜索信息时，客户端将查询发送到 MCP 服务器
3. 服务器通过 Serper.dev 处理请求并返回格式化的结果
4. 客户端构建一个增强的提示，包括搜索结果
5. 本地 Ollama 模型接收此提示并生成知情响应
6. 响应将显示给用户，并带有搜索归属

文件结构

• server.py - 带有网络搜索工具的 MCP 服务器
• chat_client.py - 基于终端的聊天客户端
• chat_frontend.py - Gradio Web 界面客户端
• requirements.txt - 项目依赖项
• .env - API 密钥的配置（创建此文件并添加您的 Serper 密钥）

自定义

• 通过修改聊天客户端文件中的模型名称来更改 Ollama 模型
• 通过更改 max_results 参数来调整搜索结果的数量
• 修改提示模板以更好地适应您的特定用例

贡献

欢迎贡献！请随时提交拉取请求。

许可证

该项目已获得 MIT 许可证的许可 - 有关详细信息，请参阅 LICENSE 文件。