XFetch MCP 服务器

增强型模型上下文协议服务器，用于网页内容抓取（fetch 的增强版）。该服务器使 LLM 能够检索和处理来自任何网页的内容，包括那些受 Cloudflare 和其他常规 fetch 无法处理的安全系统保护的网页。

主要特性

• 🚀 绕过保护系统: 访问受 Cloudflare 和其他安全系统保护的网站内容
• 🌐 JavaScript 渲染: 从需要 JavaScript 执行的动态网站抓取内容
• 🎯 CSS 选择器: 使用 CSS 选择器从网页中提取特定内容
• ⏱️ 动态内容加载: 在抓取之前等待动态内容加载
• 📝 Markdown 转换: 自动将 HTML 转换为 markdown，以便 LLM 更容易使用
• 🔄 分块读取: 使用 start_index 参数分块读取长页面

可用工具

• xfetch - 具有高级功能的增强型网页内容抓取工具
  • url (字符串, 必需): 要抓取的 URL
  • max_length (整数, 可选): 返回的最大字符数 (默认: 5000)
  • start_index (整数, 可选): 从此字符索引开始内容 (默认: 0)
  • raw (布尔值, 可选): 获取原始内容，不进行 markdown 转换 (默认: false)
  • render (布尔值, 可选): 启用 JavaScript 渲染以获取动态内容 (默认: false)
  • selector (字符串, 可选): 用于提取特定内容的 CSS 选择器
  • timeout (整数, 可选): 动态内容加载的等待时间（1-10 秒）

提示词

• xfetch
  • 抓取 URL 并将其内容提取为 markdown
  • 参数:
    • url (字符串, 必需): 要抓取的 URL
    • render (布尔值, 可选): 启用 JavaScript 渲染
    • selector (字符串, 可选): 用于内容提取的 CSS 选择器
    • timeout (整数, 可选): 动态内容加载超时

安装

使用 pip

pip install mcp-server-xfetch

使用 uv (推荐)

当使用 uv 时，无需进行特定安装：

uvx mcp-server-xfetch

配置

为 Claude.app 配置

添加到您的 Claude 设置：

<details> <summary>使用 uvx (推荐)</summary>

"mcpServers": {
  "xfetch": {
    "command": "uvx",
    "args": ["mcp-server-xfetch"]
  }
}

</details>

<details> <summary>使用 pip 安装</summary>

"mcpServers": {
  "xfetch": {
    "command": "python",
    "args": ["-m", "mcp_server_xfetch"]
  }
}

</details>

API 令牌

XFetch 服务提供两个使用层级：

免费层级

该软件包包含一个默认 API 令牌，允许有限的免费使用。 这非常适合：

• 测试和评估
• 个人项目
• 小规模非商业用途

但是，免费层级有速率限制，并且可能偶尔出现稳定性问题。

商业/生产用途

为了稳定可靠的服务，特别是对于：

• 商业项目
• 生产环境
• 大量请求
• 保证正常运行时间和支持

请访问 xfetch.ai 以：

1. 注册一个商业帐户
2. 获取您的专用 API 令牌
3. 访问高级功能和支持

获得令牌后，您可以通过以下方式之一进行设置：

# 选项 1：环境变量（推荐）
export XFETCH_API_TOKEN=your_token_here

# 选项 2：命令行参数
python -m mcp_server_xfetch --api-token=your_token_here

或者在您的 Claude 配置中：

"mcpServers": {
  "xfetch": {
    "command": "python",
    "args": ["-m", "mcp_server_xfetch", "--api-token=your_token_here"]
  }
}

示例

基本用法

# 简单的 fetch，带有 markdown 转换
{
    "url": "https://example.com"
}

JavaScript 渲染

# 从动态网站抓取
{
    "url": "https://dynamic-site.com",
    "render": true,
    "timeout": 5  # 等待最多 5 秒以加载内容
}

内容提取

# 使用 CSS 选择器提取特定内容
{
    "url": "https://news-site.com",
    "selector": "article.main-content",
    "render": true
}

读取长内容

# 第一次请求
{
    "url": "https://long-article.com",
    "max_length": 5000
}

# 从上次停止的地方继续阅读
{
    "url": "https://long-article.com",
    "start_index": 5000,
    "max_length": 5000
}

调试

您可以使用 MCP inspector 来调试服务器：

npx @modelcontextprotocol/inspector uvx mcp-server-xfetch

贡献

我们欢迎贡献！ 无论您是想添加新功能、修复错误还是改进文档，我们都感谢您的帮助。

1. Fork 存储库
2. 创建您的功能分支
3. 提交您的更改
4. 推送到分支
5. 创建一个 Pull Request

许可证

该项目根据 MIT 许可证获得许可 - 有关详细信息，请参阅 LICENSE 文件。

支持

• 文档: xfetch.ai
• 问题: GitHub Issues
• 电子邮件: xfetchai@gmail.com