Scrapling Fetch MCP

一个 MCP 服务器，旨在帮助 AI 助手访问实施了机器人检测的网站上的文本内容，从而弥合您在浏览器中看到的内容与 AI 可以访问的内容之间的差距。

预期用途

此工具针对从实施了机器人检测的网站上低批量检索文档和参考资料（仅限文本/HTML）进行了优化。它尚未针对通用站点抓取或数据收集进行设计或测试。

注意: 此项目是与 Claude Sonnet 3.7 合作开发的，使用了 LLM Context。

安装

1. 要求:

   • Python 3.10+
   • uv 包管理器

2. 安装依赖项和工具:

uv tool install scrapling
scrapling install
uv tool install scrapling-fetch-mcp

与 Claude 设置

将此配置添加到您的 Claude 客户端的 MCP 服务器配置中：

{
  "mcpServers": {
    "Cyber-Chitta": {
      "command": "uvx",
      "args": ["scrapling-fetch-mcp"]
    }
  }
}

可用工具

此软件包提供两个不同的工具：

1. s-fetch-page: 检索完整的网页，支持分页
2. s-fetch-pattern: 提取与正则表达式模式匹配的内容，并带有周围的上下文

使用示例

获取完整页面

Human: 请获取并总结 https://example.com/docs 上的文档

Claude: 我会帮助你。让我获取文档。

<mcp:function_calls>
<mcp:invoke name="s-fetch-page">
<mcp:parameter name="url">https://example.com/docs</mcp:parameter>
<mcp:parameter name="mode">basic</mcp:parameter>
</mcp:invoke>
</mcp:function_calls>

根据我检索到的文档，这是摘要...

使用模式匹配提取特定内容

Human: 请在文档页面上找到所有提及 "API keys" 的地方。

Claude: 我会搜索该特定信息。

<mcp:function_calls>
<mcp:invoke name="s-fetch-pattern">
<mcp:parameter name="url">https://example.com/docs</mcp:parameter>
<mcp:parameter name="mode">basic</mcp:parameter>
<mcp:parameter name="search_pattern">API\s+keys?</mcp:parameter>
<mcp:parameter name="context_chars">150</mcp:parameter>
</mcp:invoke>
</mcp:function_calls>

我在文档中找到了几个提及 API 密钥的地方：
...

功能选项

• 保护级别:

  • basic: 快速检索（1-2 秒），但在受到高度保护的站点上成功率较低
  • stealth: 平衡的保护（3-8 秒），适用于大多数站点
  • max-stealth: 最大保护（10+ 秒），适用于受到高度保护的站点

• 内容目标选项:

  • s-fetch-page: 检索整个页面，支持分页（使用 start_index 和 max_length）
  • s-fetch-pattern: 使用正则表达式提取特定内容（使用 search_pattern 和 context_chars）
    • 结果包括位置信息，以便使用 s-fetch-page 进行后续查询

最佳结果提示

• 从 basic 模式开始，仅在需要时升级到更高的保护级别
• 对于大型文档，请将分页参数与 s-fetch-page 一起使用
• 在大型页面上查找特定信息时，请使用 s-fetch-pattern
• AI 将根据站点的保护级别自动调整其方法

局限性

• 仅为文本内容设计: 专门用于文档、文章和参考资料
• 不适用于高批量抓取或数据收集
• 可能不适用于需要身份验证的站点
• 性能因站点复杂性而异

许可证

Apache 2