MD MCP Webcrawler 项目

一个基于 Python 的 MCP (https://modelcontextprotocol.io/introduction) 网络爬虫，用于提取和保存网站内容。

特性

• 提取网站内容并保存为 markdown 文件
• 映射网站结构和链接
• 批量处理多个 URL
• 可配置的输出目录

安装

1. 克隆仓库:

git clone https://github.com/yourusername/webcrawler.git
cd webcrawler

2. 安装依赖:

pip install -r requirements.txt

3. 可选: 配置环境变量:

export OUTPUT_PATH=./output  # 设置您偏好的输出目录

输出

爬取的内容以 markdown 格式保存在指定的输出目录中。

配置

服务器可以通过环境变量进行配置:

• OUTPUT_PATH: 保存文件的默认输出目录
• MAX_CONCURRENT_REQUESTS: 最大并发请求数 (默认: 5)
• REQUEST_TIMEOUT: 请求超时时间，单位为秒 (默认: 30)

Claude 设置

使用 FastMCP 安装 fastmcp install server.py

或者使用自定义设置直接使用 fastmcp 运行

"Crawl Server": {
      "command": "fastmcp",
      "args": [
        "run",
        "/Users/mm22/Dev_Projekte/servers-main/src/Webcrawler/server.py"
      ],
      "env": {
        "OUTPUT_PATH": "/Users/user/Webcrawl"
      }

开发

实时开发

fastmcp dev server.py --with-editable .

调试

建议使用 https://modelcontextprotocol.io/docs/tools/inspector 进行调试

示例

示例 1: 提取并保存内容

mcp call extract_content --url "https://example.com" --output_path "example.md"

示例 2: 创建内容索引

mcp call scan_linked_content --url "https://example.com" | \
  mcp call create_index --content_map - --output_path "index.md"

贡献

1. Fork 仓库
2. 创建一个特性分支 (git checkout -b feature/AmazingFeature)
3. 提交您的更改 (git commit -m 'Add some AmazingFeature')
4. 推送到分支 (git push origin feature/AmazingFeature)
5. 打开一个 Pull Request

许可证

在 MIT 许可证下分发。 更多信息请参见 LICENSE。

要求

• Python 3.7+
• FastMCP (使用 pip install fastmcp 安装)
• requirements.txt 中列出的依赖项