Crawl4ai MCP 服务器

一个 MCP 服务器，它使用 crawl4ai 提供网络爬取功能，并为 LLM 提供 Markdown 输出。

安装

前提条件

• Node.js
• 访问 crawl4ai 实例：https://docs.crawl4ai.com/core/docker-deployment/

设置

1. 克隆仓库：

git clone https://github.com/Kirill812/crawl4ai-mcp-server.git
cd crawl4ai-mcp-server

2. 安装依赖：

npm install

3. 构建服务器：

npm run build

4. 将服务器配置添加到您的环境中：

{
  "mcpServers": {
    "crawl4ai": {
      "command": "node",
      "args": [
        "/path/to/crawl4ai-mcp-server/build/index.js"
      ],
      "env": {
        "CRAWL4AI_API_URL": "http://127.0.0.1:11235",
        "CRAWL4AI_AUTH_TOKEN": "your-auth-token"           // 可选：如果需要身份验证
      }
    }
  }
}

用您的值替换环境变量：

• CRAWL4AI_API_URL: crawl4ai API 服务的 URL（可选）
• CRAWL4AI_AUTH_TOKEN: API 的身份验证令牌（可选）

功能

工具

• crawl_urls - 爬取网页并获取带有引用的 Markdown 内容
  • 参数：
    • urls (必需): 要爬取的 URL 列表

响应格式

该工具返回每个 URL 的带有引用的 Markdown 内容。 多个 URL 由水平线 (---) 分隔。 示例：

这是来自第一个 URL 的内容 [^1]

[^1]: https://example.com

---

这是来自第二个 URL 的内容 [^2]

[^2]: https://example.org

开发

对于具有自动重建功能的开发：

npm run watch

错误处理

常见问题和解决方案：

1. 确保 URL 有效且可访问
2. 如果使用身份验证，请确保令牌有效
3. 检查与 crawl4ai API 服务的网络连接
4. 对于超时错误，请尝试减少每个请求的 URL 数量
5. 如果被网站阻止，该服务将自动处理使用不同用户代理的重试

许可证

此 MCP 服务器是在 MIT 许可证下授权的。 这意味着您可以自由使用、修改和分发该软件，但须遵守 MIT 许可证的条款和条件。 有关更多详细信息，请参阅项目存储库中的 LICENSE 文件。