Fetch MCP Server

这是官方 Fetch MCP Server 的 Node.js 移植版本。请查看 与原始项目的关键差异 部分以了解更多详细信息。

描述

一个 Model Context Protocol 服务器，提供网页内容抓取功能。该服务器使 LLM 能够检索和处理网页内容，并将 HTML 转换为 markdown，以便更容易使用。

fetch 工具会截断响应，但通过使用 start_index 参数，您可以指定内容提取的起始位置。这使模型可以分块读取网页，直到找到所需的信息。

可用工具

• fetch - 从互联网抓取 URL 并将其内容提取为 markdown。
  • url (字符串，必需): 要抓取的 URL
  • max_length (整数，可选): 要返回的最大字符数（默认值：5000）
  • start_index (整数，可选): 从此字符索引开始内容（默认值：0）
  • raw (布尔值，可选): 获取原始内容，不进行 markdown 转换（默认值：false）

可用提示

• fetch - 抓取 URL 并将其内容提取为 markdown
  • url (字符串，必需): 要抓取的 URL

用法

mcp-fetch-node 默认在 8080 端口的 /sse 暴露一个 SSE 端点。

Node.js:

npx -y mcp-fetch-node

Docker:

docker run -it tgambet/mcp-fetch-node

自定义 - robots.txt

默认情况下，如果请求来自模型（通过工具），服务器将遵守网站的 robots.txt 文件，但如果请求是由用户发起的（通过提示），则不会。可以通过将参数 --ignore-robots-txt 添加到运行命令来禁用此行为。

自定义 - User-agent

默认情况下，根据请求是来自模型（通过工具）还是由用户发起的（通过提示），服务器将使用以下 user-agent：

# 工具调用
ModelContextProtocol/1.0 (Autonomous; +https://github.com/tgambet/mcp-fetch-node)

# 提示
ModelContextProtocol/1.0 (User-Specified; +https://github.com/tgambet/mcp-fetch-node)

可以通过将参数 --user-agent=YourUserAgent 添加到运行命令来自定义此行为，这将覆盖两者。

与原始项目的关键差异

• 此实现是用 TypeScript 编写的，并以 Node.js 运行时为目标。 它适用于 python 不可用的情况。

• 此实现提供 SSE 接口而不是 stdio。 它更适合作为 Web 服务部署，从而提高了灵活性。

• 此实现不依赖 Readability.js 库进行内容提取。 它使用自定义实现，该实现更通用，更适合非新闻相关的网站。

但是，api 和工具描述与原始项目相同，因此您可以尝试使用 mcp-fetch-node 作为原始项目的直接替代品。

请将任何问题报告给 issue tracker。

特性

• 从 URL 抓取并提取相关内容
• 尊重 robots.txt（可以禁用）
• User-Agent 自定义
• Markdown 转换
• 分页

开发

pnpm install
pnpm dev
pnpm lint:fix
pnpm format
pnpm test
pnpm build
pnpm start
pnpm inspect

贡献

欢迎贡献！请随时提交 Pull Request。

许可证

MIT

TODO

• [ ] 添加用户日志和进度
• [ ] 添加文档和示例
• [ ] 性能基准测试和改进
• [ ] 提取质量的基准测试：cf https://github.com/adbar/trafilatura/blob/master/tests/comparison_small.py