MCP LLM API 服务器

一个使用 Model-Call-Protocol 模式和 Pydantic AI 的 LLM API 服务器。

特性

• 用于 CLI 交互的终端界面
• 带有 WebSocket 流的 API 服务器
• Web 客户端演示
• 通过 MCP 支持工具调用

前提条件

• Python 3.9+
• 一个虚拟环境 (venv)

快速开始（本地开发）

1. 复制 .env.example 到 .env 并添加你的 API 密钥
2. 创建并激活一个虚拟环境：

   python3 -m venv .venv
   source .venv/bin/activate  # 在 Linux/macOS 上
   # 或
   .venv\Scripts\activate  # 在 Windows 上
   

3. 安装依赖：

   pip install -r requirements.txt
   

4. 运行 CLI：

   python src/main.py --mode cli
   

5. 运行 API：

   python src/main.py --mode api
   

Docker

构建 Docker 镜像

docker build -t mcp-llm-api-server .

运行 API 模式（默认）

docker run -p 8000:8000 --env-file .env mcp-llm-api-server

运行 CLI 模式（交互式）

docker run -it --env-file .env mcp-llm-api-server --mode cli

使用 Docker 进行开发，支持实时重新加载

# 运行并挂载卷，以便在开发期间实时重新加载代码
docker run -p 8000:8000 --env-file .env -v $(pwd):/app mcp-llm-api-server

使用 Docker Compose

# 启动 API 服务
docker-compose up

模型配置

本项目使用 Pydantic AI 进行 AI 模型集成。 你可以通过设置 BASE_MODEL 环境变量来配置要使用的模型。

格式遵循 Pydantic AI 约定：provider:model_name

示例：

• openai:gpt-4o
• anthropic:claude-3-opus-20240229
• groq:llama-3.3-70b-versatile

请参阅支持模型的完整列表：https://ai.pydantic.dev/models/

API 密钥

对于每个提供商，你需要在你的 .env 文件中设置相应的 API 密钥：

# .env 配置示例
BASE_MODEL=groq:llama-3.3-70b-versatile
GROQ_API_KEY=your-groq-api-key
OPENAI_API_KEY=your-openai-api-key
ANTHROPIC_API_KEY=your-anthropic-api-key

API 密钥环境变量遵循以下模式：{PROVIDER_NAME}_API_KEY

API 文档

API 服务器运行后，请访问自动生成的 API 文档：

• Swagger UI: http://localhost:8000/docs
• ReDoc: http://localhost:8000/redoc

发起 API 调用

主要端点是 /chat，它接受带有 JSON 格式请求体的 POST 请求，其中包含用户的消息。

使用 curl 的示例：

curl -X POST -H "Content-Type: application/json" -d '{"message": "Hello, agent!"}' http://localhost:8000/chat

对于流式响应，请使用 WebSocket 端点：

ws://localhost:8000/ws

Web 客户端

一个演示 Web 客户端包含在 /static 目录中。 请通过以下地址访问它：

http://localhost:8000/

重要提示

• 确保在运行客户端或服务器之前激活虚拟环境。
• API 服务器默认在端口 8000 上运行。
• CLI 界面和 API 服务器都使用相同的底层代理功能。