sitemcp

抓取整个网站并将其用作 MCP 服务器

https://github.com/user-attachments/assets/ebe2d7c6-4ddc-4a37-8e1e-d80fac49d8ae

<details> <summary><bold>日语演示</bold></summary>

https://github.com/user-attachments/assets/24288140-be2a-416c-9e7c-c49be056a373

</details>

[!NOTE] sitemcp 是 @egoist 的 sitefetch 的一个分支。

安装

一次性使用（选择以下之一）：

bunx sitemcp
npx sitemcp
pnpx sitemcp

全局安装（选择以下之一）：

bun i -g sitemcp
npm i -g sitemcp
pnpm i -g sitemcp

用法

sitemcp https://daisyui.com

# 或者更好的并发
sitemcp https://daisyui.com --concurrency 10

匹配特定页面

使用 -m, --match 标志来指定您想要抓取的页面：

sitemcp https://vite.dev -m "/blog/**" -m "/guide/**"

匹配模式针对目标页面的路径名进行测试，由 micromatch 提供支持，您可以查看所有支持的匹配功能。

内容选择器

我们使用 mozilla/readability 从网页中提取可读内容，但在某些页面上，它可能会返回不相关的内容，在这种情况下，您可以指定一个 CSS 选择器，以便我们知道在哪里找到可读内容：

sitemcp https://vite.dev --content-selector ".content"

如何配置 MCP 客户端

您可以从您的 MCP 客户端（例如 Claude Desktop）执行服务器。

以下是 Claude Desktop 的示例配置

{
  "mcpServers": {
    "daisy-ui": {
      "command": "npx",
      "args": [
        "-y",
        "sitemcp",
        "https://daisyui.com",
        "-m",
        "/components/**",
      ]
    }
  }
}

提示

• 某些网站有很多页面。 最好在将服务器注册到 MCP 客户端之前运行 sitemcp。 默认情况下，sitemcp 将页面缓存在 ~/.cache/sitemcp 中。 您可以通过 --no-cache 标志禁用缓存。

许可证

MIT。

统计

<a href="https://www.star-history.com/#ryoppippi/sitemcp&Date"> <picture> <source media="(prefers-color-scheme: dark)" srcset="https://api.star-history.com/svg?repos=ryoppippi/sitemcp&type=Date&theme=dark" /> <source media="(prefers-color-scheme: light)" srcset="https://api.star-history.com/svg?repos=ryoppippi/sitemcp&type=Date" /> <img alt="Star History Chart" src="https://api.star-history.com/svg?repos=ryoppippi/sitemcp&type=Date" /> </picture> </a>