MCP 服务器

Docs Fetch MCP Server

使大型语言模型能够自主检索和探索网络内容，通过获取页面并以指定的深度递归地跟踪链接，尤其适用于从文档中学习主题。

README

文档抓取 MCP 服务器

一个用于抓取网页内容并具备递归探索能力的模型上下文协议 (MCP) 服务器。该服务器使 LLM 能够自主探索网页和文档，以学习特定主题。

概述

文档抓取 MCP 服务器为 LLM 提供了一种简单而强大的方式来检索和探索网页内容。它能够：

从任何网页抓取干净、可读的内容
以指定的深度递归探索链接的页面
进行同域链接遍历，以收集全面的信息
智能过滤导航链接，以专注于内容丰富的页面

当用户希望 LLM 通过探索文档或网页内容来学习特定主题时，此工具特别有用。

特性

内容提取: 干净地从网页中提取主要内容，删除导航、广告和不相关元素等干扰项
链接分析: 识别并提取页面中的链接，评估其相关性
递归探索: 跟踪同一域内相关内容的链接，深度可达指定层级
并行处理: 通过并发请求和适当的错误处理，高效地抓取内容
强大的错误处理: 优雅地处理网络问题、超时和格式错误的页面
双策略方法: 首先使用快速的 axios 请求，然后使用 puppeteer 作为后备方案来处理更复杂的页面
超时预防: 实施全局超时处理，以确保在 MCP 时间限制内可靠运行
部分结果: 即使某些页面无法完全加载，也会返回可用的内容

用法

该服务器公开了一个 MCP 工具：

`fetch_doc_content`

抓取网页内容，并能够探索链接的页面，深度可达指定层级。

参数：

url (字符串，必需): 要抓取的网页的 URL
depth (数字，可选，默认值: 1): 目录/链接探索的最大深度 (1-5)

返回值：

{
  "rootUrl": "https://example.com/docs",
  "explorationDepth": 2,
  "pagesExplored": 5,
  "content": [
    {
      "url": "https://example.com/docs",
      "title": "Documentation",
      "content": "Main page content...",
      "links": [
        {
          "url": "https://example.com/docs/topic1",
          "text": "Topic 1"
        },
        ...
      ]
    },
    ...
  ]
}

安装

克隆此存储库：

git clone https://github.com/wolfyy970/docs-fetch-mcp.git
cd docs-fetch-mcp

安装依赖项：

npm install

构建项目：

npm run build

在您的 Claude Client 中配置您的 MCP 设置：

{
  "mcpServers": {
    "docs-fetch": {
      "command": "node",
      "args": [
        "/path/to/docs-fetch-mcp/build/index.js"
      ],
      "env": {
        "MCP_TRANSPORT": "pipe"
      }
    }
  }
}