Claude Web Scraper MCP

一个简单的模型上下文协议 (MCP) 服务器，用于将桌面版 Claude 连接到本地运行的 eGet 网络爬虫。 这允许 Claude 通过您的本地 API 抓取网站内容。

前提条件

• 桌面版 Claude
• Python 3.7+
• eGet 网络爬虫 (来自 https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai)

设置说明

1. 设置 eGet 网络爬虫

首先，确保您已运行 eGet 网络爬虫：

# 克隆 eGet 仓库
git clone https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai
cd eGet-Crawler-for-ai

# 根据其说明设置并运行 eGet
# (通常使用 Docker 或本地 Python 安装)

# 验证 API 是否正在运行 (默认: http://localhost:8000/api/v1/scrape)

2. 设置 MCP 服务器

# 创建项目目录
mkdir claude-scraper-mcp
cd claude-scraper-mcp

# 设置 UV 和虚拟环境
uv venv
source .venv/bin/activate  # 在 Windows 上: .venv\Scripts\activate

# 安装依赖
uv add "mcp[cli]" httpx

# 创建 MCP 服务器脚本
touch scrape_mcp_server.py

将 scrape_mcp_server.py 代码复制到该文件中。

3. 配置桌面版 Claude

1. 创建或编辑 Claude 桌面配置：

# 在 macOS 上
mkdir -p ~/Library/Application\ Support/Claude/

2. 将此配置添加到 ~/Library/Application Support/Claude/claude_desktop_config.json：

{
    "mcpServers": {
        "scrape-service": {
            "command": "/absolute/path/to/claude-scraper-mcp/.venv/bin/python",
            "args": [
                "/absolute/path/to/claude-scraper-mcp/scrape_mcp_server.py"
            ]
        }
    }
}

将路径替换为您的虚拟环境和脚本的实际绝对路径。

3. 重启桌面版 Claude

用法

设置完成后，您可以使用 Claude 通过以下命令抓取网站：

• "抓取 https://example.com 的内容并进行总结"
• "获取有关 https://news.ycombinator.com 网站的信息"

故障排除

如果您遇到问题：

1. 检查 eGet 爬虫是否正在运行
2. 验证脚本中的 API 端点是否与您的 eGet 配置匹配
3. 确保桌面版 Claude 正在使用正确的 Python 解释器
4. 在更改配置后重启桌面版 Claude