MCP 网站下载器

简单的 MCP 服务器，用于下载文档网站并准备用于 RAG 索引。

功能

• 下载完整的文档站点，至少是大部分内容。
• 维护链接结构和导航，其实并没有。 哈哈
• 下载和组织资源（CSS、JS、图像），但对 AI 并不友好，可能需要某种解析或矢量化到数据库或其他东西中。
• 为 RAG 系统创建干净的索引，目前似乎在每个文件夹中创建一个索引，甚至没有看过。
• 简单的单用途 MCP 接口，是的。

安装

Fork 并下载，cd 到存储库。

uv venv
./venv/Scripts/activate
pip install -e .

将以下内容放入您的 claude_desktop_config.json 中，并使用您自己的路径：

   "mcp-windows-website-downloader": {
     "command": "uv",
     "args": [
       "--directory",
       "F:/GithubRepos/mcp-windows-website-downloader",
       "run",
       "mcp-windows-website-downloader",
       "--library",
       "F:/GithubRepos/mcp-windows-website-downloader/website_library"
     ]
   },

您无需担心的其他用法，可能只是幻觉：

1. 启动服务器：

python -m mcp_windows_website_downloader.server --library docs_library

2. 通过 Claude Desktop 或其他 MCP 客户端使用：

result = await server.call_tool("download", {
    "url": "https://docs.example.com"
})

输出结构

docs_library/
  domain_name/
    index.html
    about.html
    docs/
      getting-started.html
      ...
    assets/
      css/
      js/
      images/
      fonts/
    rag_index.json

开发

服务器遵循标准的 MCP 架构：

src/
  mcp_windows_website_downloader/
    __init__.py
    server.py    # MCP 服务器实现
    core.py      # 核心下载器功能
    utils.py     # 辅助实用程序

组件

• server.py: 主要的 MCP 服务器实现，处理工具注册和请求
• core.py: 核心网站下载功能，具有适当的资源处理
• utils.py: 用于文件处理和 URL 处理的辅助实用程序

设计原则

1. 单一职责

   • 每个模块都有一个明确的目的
   • 服务器处理 MCP 接口
   • Core 处理下载
   • Utils 处理常见操作

2. 干净的结构

   • 维护原始站点结构
   • 按类型组织资源
   • 为 RAG 系统创建清晰的索引

3. 稳健的运行

   • 适当的错误处理
   • 合理的深度限制
   • 资源下载验证
   • 清理 URL/路径处理

RAG 索引

rag_index.json 文件包含：

{
  "url": "https://docs.example.com",
  "domain": "docs.example.com", 
  "pages": 42,
  "path": "/path/to/site"
}

贡献

1. Fork 存储库
2. 创建一个功能分支
3. 进行更改
4. 提交 pull request

许可证

MIT 许可证 - 请参阅 LICENSE 文件

错误处理

服务器处理常见问题：

• 无效的 URL
• 网络错误
• 资源下载失败
• 格式错误的 HTML
• 深度递归
• 文件系统错误

错误响应遵循以下格式：

{
  "status": "error",
  "error": "详细的错误消息"
}

成功响应：

{
  "status": "success",
  "path": "/path/to/downloaded/site",
  "pages": 42
}