Crawl4AI MCP 服务器

一个模型上下文协议 (MCP) 服务器的实现，它将 Crawl4AI 与 Cursor AI 集成，为 Cursor Composer 代理模式中的 LLM 提供网络抓取和爬取功能作为工具。

系统要求

已安装 Python 3.10 或更高版本。

当前功能

• 单页抓取
• 网站爬取

安装

基本设置说明也可在 MCP 服务器快速入门官方文档 中找到。

设置您的环境

首先，让我们安装 uv 并设置我们的 Python 项目和环境：

MacOS/Linux:

curl -LsSf https://astral.sh/uv/install.sh | sh

Windows:

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

请务必之后重启您的终端，以确保 uv 命令被识别。

之后：

1. 克隆存储库

2. 使用 UV 安装依赖项：

# 导航到 crawl4ai-mcp 目录
cd crawl4ai-mcp

# 安装依赖项 (仅第一次)
uv venv
uv sync

# 激活 venv
source .venv/bin/activate

# 运行服务器
python main.py

3. 添加到 Cursor 的 MCP 服务器或 Claude 的 MCP 服务器

您可能需要在命令字段中放入 uv 可执行文件的完整路径。 您可以通过在 MacOS/Linux 上运行 which uv 或在 Windows 上运行 where uv 来获取此路径。

{
  "mcpServers": {
    "Crawl4AI": {
      "command": "uv",
      "args": [
        "--directory",
        "/ABSOLUTE/PATH/TO/PARENT/FOLDER/crawl4ai-mcp",
        "run",
        "main.py"
      ]
    }
  }
}

提供的工具

此 MCP 服务器向 LLM 公开以下工具：

1. scrape_webpage(url: str)

   • 描述： 使用 Crawl4AI 抓取单个网页的内容和元数据。
   • 参数：
     • url (字符串，必需)：要抓取的网页的 URL。
   • 返回： 包含一个 TextContent 对象的列表，该对象包含抓取的内容（主要是 markdown）作为 JSON。

2. crawl_website(url: str, crawl_depth: int = 1, max_pages: int = 5)

   • 描述： 使用 Crawl4AI 从给定的 URL 开始爬取网站，直到指定的深度和页面限制。
   • 参数：
     • url (字符串，必需)：要爬取的起始 URL。
     • crawl_depth (整数，可选，默认值：1)：相对于起始 URL 的最大爬取深度。
     • max_pages (整数，可选，默认值：5)：爬取期间要抓取的最大页面数。
   • 返回： 包含一个 TextContent 对象的列表，该对象包含已爬取页面的结果的 JSON 数组（包括 URL、成功状态、markdown 内容或错误）。