cloudscraper-mcp

cloudscraper-mcp

Enables AI agents to bypass Cloudflare protection and scrape web content, returning clean Markdown with smart chunking and file export.

Category
访问服务器

README

<div align="center">

CloudScraper MCP Server

A Model Context Protocol server that enables AI agents to bypass Cloudflare protection and scrape web content

Python Version License Docker

</div>


<div align="center">

Quick Start

</div>

Clone the repository and install dependencies:

git clone https://github.com/yourusername/cloudscraper-mcp-server.git
cd cloudscraper-mcp-server
uv sync

Add to Claude Code:

claude mcp add cloudscraper-mcp \
  --type stdio \
  --command "uv" \
  --args "run" "server.py" \
  --directory "/path/to/cloudscraper-mcp-server"

Add to VSCode / any MCP-compatible IDE:

{
  "mcpServers": {
    "cloudscraper-mcp": {
      "type": "stdio",
      "command": "uv",
      "args": ["run", "server.py"],
      "cwd": "/path/to/cloudscraper-mcp-server"
    }
  }
}

<div align="center">

Features

</div>

  • Cloudflare Bypass — Automatically handles Cloudflare protection so AI agents can reach pages that block standard requests
  • Content Cleaning — Converts HTML to clean, LLM-friendly Markdown
  • Smart Chunking — Automatically splits large responses into 10k-token chunks with continuation tokens
  • Binary Handling — Base64-encodes non-text content so agents can handle images and downloads
  • File Export — Save scraped content directly to disk via scrape_url_to_file
  • Docker Support — Containerized deployment via DOCKER.md

Three tools are available: scrape_url (returns content as a string), scrape_url_raw (returns content plus response metadata), and scrape_url_to_file (saves content to disk).


<div align="center">

Configuration

</div>

<div align="center">

Transport Protocols

</div>

<div align="center">

Transport Best For Configuration
stdio Claude Code, VSCode, Direct AI integration Default mode, no environment variables needed
http n8n, Web apps, API integrations, Remote access Requires MCP_TRANSPORT=http

</div>

Run with HTTP transport:

MCP_TRANSPORT=http MCP_HOST=0.0.0.0 MCP_PORT=8000 uv run server.py

<div align="center">

Environment Variables

</div>

<div align="center">

Variable Default Options Description
MCP_TRANSPORT stdio stdio, http Transport protocol selection
MCP_HOST 0.0.0.0 Any valid IP Host binding for HTTP mode
MCP_PORT 8000 Any valid port Port for HTTP mode

</div>

推荐服务器

Baidu Map

Baidu Map

百度地图核心API现已全面兼容MCP协议,是国内首家兼容MCP协议的地图服务商。

官方
精选
JavaScript
Playwright MCP Server

Playwright MCP Server

一个模型上下文协议服务器,它使大型语言模型能够通过结构化的可访问性快照与网页进行交互,而无需视觉模型或屏幕截图。

官方
精选
TypeScript
Audiense Insights MCP Server

Audiense Insights MCP Server

通过模型上下文协议启用与 Audiense Insights 账户的交互,从而促进营销洞察和受众数据的提取和分析,包括人口统计信息、行为和影响者互动。

官方
精选
本地
TypeScript
Magic Component Platform (MCP)

Magic Component Platform (MCP)

一个由人工智能驱动的工具,可以从自然语言描述生成现代化的用户界面组件,并与流行的集成开发环境(IDE)集成,从而简化用户界面开发流程。

官方
精选
本地
TypeScript
VeyraX

VeyraX

一个单一的 MCP 工具,连接你所有喜爱的工具:Gmail、日历以及其他 40 多个工具。

官方
精选
本地
Kagi MCP Server

Kagi MCP Server

一个 MCP 服务器,集成了 Kagi 搜索功能和 Claude AI,使 Claude 能够在回答需要最新信息的问题时执行实时网络搜索。

官方
精选
Python
graphlit-mcp-server

graphlit-mcp-server

模型上下文协议 (MCP) 服务器实现了 MCP 客户端与 Graphlit 服务之间的集成。 除了网络爬取之外,还可以将任何内容(从 Slack 到 Gmail 再到播客订阅源)导入到 Graphlit 项目中,然后从 MCP 客户端检索相关内容。

官方
精选
TypeScript
Exa MCP Server

Exa MCP Server

模型上下文协议(MCP)服务器允许像 Claude 这样的 AI 助手使用 Exa AI 搜索 API 进行网络搜索。这种设置允许 AI 模型以安全和受控的方式获取实时的网络信息。

官方
精选
mcp-server-qdrant

mcp-server-qdrant

这个仓库展示了如何为向量搜索引擎 Qdrant 创建一个 MCP (Managed Control Plane) 服务器的示例。

官方
精选
e2b-mcp-server

e2b-mcp-server

使用 MCP 通过 e2b 运行代码。

官方
精选