cloudscraper-mcp
Enables AI agents to bypass Cloudflare protection and scrape web content, returning clean Markdown with smart chunking and file export.
README
<div align="center">
CloudScraper MCP Server
A Model Context Protocol server that enables AI agents to bypass Cloudflare protection and scrape web content
</div>
<div align="center">
Quick Start
</div>
Clone the repository and install dependencies:
git clone https://github.com/yourusername/cloudscraper-mcp-server.git
cd cloudscraper-mcp-server
uv sync
Add to Claude Code:
claude mcp add cloudscraper-mcp \
--type stdio \
--command "uv" \
--args "run" "server.py" \
--directory "/path/to/cloudscraper-mcp-server"
Add to VSCode / any MCP-compatible IDE:
{
"mcpServers": {
"cloudscraper-mcp": {
"type": "stdio",
"command": "uv",
"args": ["run", "server.py"],
"cwd": "/path/to/cloudscraper-mcp-server"
}
}
}
<div align="center">
Features
</div>
- Cloudflare Bypass — Automatically handles Cloudflare protection so AI agents can reach pages that block standard requests
- Content Cleaning — Converts HTML to clean, LLM-friendly Markdown
- Smart Chunking — Automatically splits large responses into 10k-token chunks with continuation tokens
- Binary Handling — Base64-encodes non-text content so agents can handle images and downloads
- File Export — Save scraped content directly to disk via
scrape_url_to_file - Docker Support — Containerized deployment via DOCKER.md
Three tools are available: scrape_url (returns content as a string), scrape_url_raw (returns content plus response metadata), and scrape_url_to_file (saves content to disk).
<div align="center">
Configuration
</div>
<div align="center">
Transport Protocols
</div>
<div align="center">
| Transport | Best For | Configuration |
|---|---|---|
| stdio | Claude Code, VSCode, Direct AI integration | Default mode, no environment variables needed |
| http | n8n, Web apps, API integrations, Remote access | Requires MCP_TRANSPORT=http |
</div>
Run with HTTP transport:
MCP_TRANSPORT=http MCP_HOST=0.0.0.0 MCP_PORT=8000 uv run server.py
<div align="center">
Environment Variables
</div>
<div align="center">
| Variable | Default | Options | Description |
|---|---|---|---|
MCP_TRANSPORT |
stdio | stdio, http | Transport protocol selection |
MCP_HOST |
0.0.0.0 | Any valid IP | Host binding for HTTP mode |
MCP_PORT |
8000 | Any valid port | Port for HTTP mode |
</div>
推荐服务器
Baidu Map
百度地图核心API现已全面兼容MCP协议,是国内首家兼容MCP协议的地图服务商。
Playwright MCP Server
一个模型上下文协议服务器,它使大型语言模型能够通过结构化的可访问性快照与网页进行交互,而无需视觉模型或屏幕截图。
Audiense Insights MCP Server
通过模型上下文协议启用与 Audiense Insights 账户的交互,从而促进营销洞察和受众数据的提取和分析,包括人口统计信息、行为和影响者互动。
Magic Component Platform (MCP)
一个由人工智能驱动的工具,可以从自然语言描述生成现代化的用户界面组件,并与流行的集成开发环境(IDE)集成,从而简化用户界面开发流程。
VeyraX
一个单一的 MCP 工具,连接你所有喜爱的工具:Gmail、日历以及其他 40 多个工具。
Kagi MCP Server
一个 MCP 服务器,集成了 Kagi 搜索功能和 Claude AI,使 Claude 能够在回答需要最新信息的问题时执行实时网络搜索。
graphlit-mcp-server
模型上下文协议 (MCP) 服务器实现了 MCP 客户端与 Graphlit 服务之间的集成。 除了网络爬取之外,还可以将任何内容(从 Slack 到 Gmail 再到播客订阅源)导入到 Graphlit 项目中,然后从 MCP 客户端检索相关内容。
Exa MCP Server
模型上下文协议(MCP)服务器允许像 Claude 这样的 AI 助手使用 Exa AI 搜索 API 进行网络搜索。这种设置允许 AI 模型以安全和受控的方式获取实时的网络信息。
mcp-server-qdrant
这个仓库展示了如何为向量搜索引擎 Qdrant 创建一个 MCP (Managed Control Plane) 服务器的示例。
e2b-mcp-server
使用 MCP 通过 e2b 运行代码。