MCP 服务器

Vision MCP

Enables text-only LLMs to process images by describing them through a configurable vision model.

README

Vision MCP

让没有视觉能力的 LLM（如 GLM）也能在 Claude Code / Codex 中处理图片。

工作原理

主模型遇到图片时，调用本 MCP 提供的 describe_image 工具：

工具读取本地图片文件
调用你配置的视觉模型（Qwen-VL / GPT-4o / GLM-4V / Doubao 等任意 OpenAI 兼容接口）
返回文字描述给主模型
主模型基于文字继续推理

主模型全程不接触图片二进制，所以纯文本模型也能用。

一键安装

git clone https://github.com/yourname/vision-mcp.git
cd vision-mcp
python install.py

安装脚本会交互式地完成：

安装 Python 依赖（mcp、openai）
让你选择视觉模型并填入 API key
注册 MCP 到 Claude Code（claude mcp add）
注册 MCP 到 Codex（写入 ~/.codex/config.toml）
在 ~/.claude/CLAUDE.md 和 ~/.codex/AGENTS.md 中添加图片处理规则

脚本幂等，可重复运行。

手动安装

如果不想用安装脚本：

安装依赖
```
pip install -r requirements.txt
```

配置视觉模型

复制 config.example.json 为 config.json，填入你的视觉模型配置：

{
  "vision_api_base": "https://dashscope.aliyuncs.com/compatible-mode/v1",
  "vision_model": "qwen-vl-max",
  "vision_api_key": "sk-你的key",
  "max_image_bytes": 10485760
}

注册到 Claude Code

claude mcp add vision -- python /绝对路径/server.py

注册到 Codex

编辑 ~/.codex/config.toml，加入：

[mcp_servers.vision]
command = "python"
args = ["/绝对路径/server.py"]

添加图片处理规则

在 ~/.claude/CLAUDE.md 和 ~/.codex/AGENTS.md 中加入以下内容（让主模型遇到图片时主动调用工具）：

## 图片处理

当用户提到图片文件路径（.png/.jpg/.jpeg/.gif/.webp/.bmp），或要求查看/分析/识别某个图片文件时：

- 先判断当前主模型自身是否具备视觉能力
- 具备视觉（如 Claude Sonnet/Opus、GPT-4o、Qwen-VL 等多模态模型）→ 直接读取图片并分析
- 不具备视觉（如 GLM 等纯文本模型）→ 调用 vision MCP 的 describe_image 工具，传入图片路径和问题
- 不确定自身是否支持视觉时，默认调用 describe_image 工具作为兜底
- 用户明确要求"用 MCP 看"或"调视觉模型"时，无论主模型是否支持视觉，都调用 describe_image 工具

支持的视觉模型

任意兼容 OpenAI 协议的视觉模型都可使用：

平台	vision_api_base	vision_model
Qwen-VL (阿里 DashScope)	`https://dashscope.aliyuncs.com/compatible-mode/v1`	`qwen-vl-max`
GLM-4V (智谱)	`https://open.bigmodel.cn/api/paas/v4`	`glm-4v-plus`
GPT-4o (OpenAI)	`https://api.openai.com/v1`	`gpt-4o`
Doubao (火山引擎)	`https://ark.cn-beijing.volces.com/api/v3`	`doubao-1.5-vision-pro`

如需使用 Anthropic 原生协议（如 Claude），需自行修改 vision_client.py，当前仅支持 OpenAI 兼容协议。

使用方式

安装完成后重启 Claude Code / Codex，在对话中：

"去 D:/temp/diagram.png 看看这张图"
"分析一下 C:/screenshots/error.jpg 里的报错"
"识别 D:/notes/page1.jpeg 里所有文字"

主模型会自动调用 describe_image 工具，工具返回视觉模型的文字描述，主模型基于描述继续回答。

工具参数

describe_image(path: str, question: str = "详细描述这张图片的内容") -> str

path：图片文件的绝对路径，支持 png/jpg/jpeg/gif/webp/bmp
question：想问视觉模型的问题，可按场景调整（"识别文字"、"描述布局"、"分析图表" 等）

项目结构

vision-mcp/
├── server.py              # MCP 服务，注册 describe_image 工具
├── vision_client.py       # 视觉模型调用（OpenAI 兼容协议）
├── config.example.json    # 配置模板（提交到 git）
├── config.json            # 你的实际配置（gitignored）
├── requirements.txt
├── install.py             # 一键安装脚本
└── README.md