Fetch MCP Server

一个模型上下文协议（Model Context Protocol）服务器，提供使用浏览器自动化、OCR和多种提取方法来获取网络内容的能力。该服务器使LLM能够检索和处理网页内容，即使是那些需要JavaScript渲染或使用防止简单抓取技术的网页。

可用工具

• fetch - 使用浏览器自动化和多方法提取（包括OCR）从互联网获取URL。
  • url (字符串，必需): 要获取的URL
  • raw (布尔值，可选): 获取请求页面的实际HTML内容，不进行简化（默认值：false）

服务器使用多种方法来提取内容：

1. 使用undetected-chromedriver进行浏览器自动化
2. 使用pytesseract进行OCR，并进行布局检测
3. 使用requests/BeautifulSoup进行HTML提取
4. 文档解析（PDF、DOCX、PPTX）
5. 原始markdown转换方法

服务器使用复杂的评分系统来选择最佳结果，考虑以下因素：

1. 基础内容得分（最高50分）

   • 根据内容长度授予分数（每100个字符1分，最高50分）
   • 惩罚极短的内容（<100个字符）

2. 结构奖励（最高20分）

   • 为具有段落的结构良好的内容授予分数
   • 更多段落表示更好的内容组织

3. 质量惩罚

   • 检测并惩罚错误消息
   • 降低包含错误指示符的内容的分数
   • 验证内容结构和可读性

该评分系统确保选择最可靠和高质量的内容，无论使用哪种提取方法。调试日志可用于跟踪评分决策。

提示词

• fetch
  • 获取URL并使用浏览器自动化将其内容提取为markdown
  • 参数：
    • url (字符串，必需): 要获取的URL

安装

使用 Docker

要使用 Docker 安装和运行 mcp-server-fetch，请按照以下步骤操作：

1. 构建 Docker 镜像：

   docker build -t mcp-server-fetch .
   

2. 运行 Docker 容器：

   docker run --rm -i mcp-server-fetch
   

配置

配置 Roo Code 或 Claude App

添加到您的 Claude 设置：

{
  "mcpServers": {
    "fetch": {
      "command": "docker",
      "args": [
        "run",
        "--rm",
        "-i",
        "mcp-server-fetch"
      ],
      "disabled": false,
      "alwaysAllow": []
    }
  }
}

自定义 - User-agent

默认情况下，根据请求是来自模型（通过工具）还是用户发起（通过提示），服务器将使用以下 user-agent：

ModelContextProtocol/1.0 (Autonomous; +https://github.com/modelcontextprotocol/servers)

或

ModelContextProtocol/1.0 (User-Specified; +https://github.com/modelcontextprotocol/servers)

可以通过将参数 --user-agent=YourUserAgent 添加到配置中的 args 列表来自定义此设置。

浏览器自动化和 OCR

服务器现在包括高级内容提取功能：

• 自动处理 cookie 同意横幅
• 全页屏幕截图捕获
• 使用 pytesseract 进行 OCR，并进行布局检测
• 多种提取方法，自动选择最佳结果

贡献

我们鼓励贡献，以帮助扩展和改进 mcp-server-fetch。 无论您是想添加新工具、增强现有功能还是改进文档，您的投入都很有价值。

有关其他 MCP 服务器和实现模式的示例，请参见： https://github.com/modelcontextprotocol/servers

欢迎提交 Pull Request！ 随时贡献新的想法、错误修复或增强功能，以使 mcp-server-fetch 更加强大和有用。

许可证

mcp-server-fetch 在 MIT 许可证下获得许可。 这意味着您可以自由使用、修改和分发该软件，但须遵守 MIT 许可证的条款和条件。 有关更多详细信息，请参见项目存储库中的 LICENSE 文件。