MCP 服务器

omniparser-autogui-mcp

屏幕图形用户界面的自动操作。

README

omniparser-autogui-mcp

（日本語版はこちら）

这是一个使用 OmniParser 分析屏幕并自动操作 GUI 的 MCP 服务器。已在 Windows 上确认。

许可说明

这是 MIT 许可证，但不包括子模块和子包。 OmniParser 的仓库是 CC-BY-4.0。每个 OmniParser 模型都有不同的许可证（参考）。

安装

请执行以下操作：

git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

（Windows 以外的系统，请使用 export 代替 set。）（如果希望 langchain_example.py 工作，请使用 uv sync --extra langchain 代替。）

将以下内容添加到您的 claude_desktop_config.json 中：

{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

（将 D:\\CLONED_PATH\\omniparser-autogui-mcp 替换为您克隆的目录。）

env 允许以下附加配置：

OMNI_PARSER_BACKEND_LOAD 如果它与其他客户端（例如 LibreChat）不兼容，请指定 1。
TARGET_WINDOW_NAME 如果要指定要操作的窗口，请指定窗口名称。如果未指定，则在整个屏幕上操作。
OMNI_PARSER_SERVER 如果希望在另一台设备上完成 OmniParser 处理，请指定服务器的地址和端口，例如 127.0.0.1:8000。可以使用 uv run omniparserserver 启动服务器。
SSE_HOST, SSE_PORT 如果指定，通信将通过 SSE 而不是 stdio 进行。
SOM_MODEL_PATH, CAPTION_MODEL_NAME, CAPTION_MODEL_PATH, OMNI_PARSER_DEVICE, BOX_TRESHOLD 这些用于 OmniParser 配置。通常，它们不是必需的。