Oxylabs Scraper 的 MCP 服务器

一个模型上下文协议 (MCP) 服务器，使像 Claude 这样的 AI 助手能够通过 Oxylabs 强大的网络抓取技术无缝访问网络数据。

📖 概述

Oxylabs MCP 服务器提供了 AI 模型和网络之间的桥梁。它使它们能够抓取任何 URL，渲染 JavaScript 繁重的页面，提取和格式化内容以供 AI 使用，绕过反抓取措施，并从 195 多个国家/地区访问受地理限制的网络数据。

此实现利用模型上下文协议 (MCP) 创建一种安全、标准化的方式，供 AI 助手与网络内容交互。

✨ 主要特性

<details> <summary><strong> 从任何站点抓取内容</strong></summary> <br>

• 从任何 URL 提取数据，包括复杂的单页应用程序
• 使用无头浏览器支持完全渲染动态网站
• 选择完全 JavaScript 渲染、仅 HTML 或无
• 模拟移动和桌面视口以实现逼真的渲染

</details>

<details> <summary><strong> 自动获取 AI 就绪数据</strong></summary> <br>

• 自动清理 HTML 并将其转换为 Markdown 以提高可读性
• 使用自动化解析器处理 Google、Amazon 等热门目标。

</details>

<details> <summary><strong> 绕过阻止和地理限制</strong></summary> <br>

• 以高成功率绕过复杂的机器人保护系统
• 可靠地抓取即使是最复杂的网站
• 从覆盖 195 多个国家/地区的代理池中自动获取轮换 IP

</details>

<details> <summary><strong> 灵活的设置和跨平台支持</strong></summary> <br>

• 如果需要，设置渲染和解析选项
• 将数据直接馈送到 AI 模型或分析工具
• 适用于 macOS、Windows 和 Linux

</details>

<details> <summary><strong> 内置错误处理和请求管理</strong></summary> <br>

• 全面的错误处理和报告
• 智能速率限制和请求管理

</details>

💡 示例查询

当您使用 Claude 设置 MCP 服务器时，您可以发出如下请求：

• 你能抓取 https://www.google.com/search?q=ai 页面吗？
• 抓取 https://www.amazon.de/-/en/Smartphone-Contract-Function-Manufacturer-Exclusive/dp/B0CNKD651V 并启用 parse
• 抓取 https://www.amazon.de/-/en/gp/bestsellers/beauty/ref=zg_bs_nav_beauty_0 并启用 parse 和 render
• 使用 web unblocker 和 render 抓取 https://www.bestbuy.com/site/top-deals/all-electronics-on-sale/pcmcat1674241939957.c

✅ 前提条件

在开始之前，请确保您已具备：

• Oxylabs 帐户：从 Oxylabs 获取您的用户名和密码（提供 1 周免费试用）

基本用法

通过 Smithery CLI：

• Node.js (v16+)
• npx 命令行工具

通过 uv：

• uv 包管理器 – 使用 本指南 安装它

本地/开发设置

• Python 3.12+
• uv 包管理器 – 使用 本指南 安装它

🧩 API 参数

Oxylabs MCP 服务器支持以下参数：

参数	描述	值
url	要抓取的 URL	任何有效的 URL
parse	启用结构化数据提取	True 或 False
render	使用无头浏览器渲染	html 或 None

⚙️ 基本设置说明

通过 Smithery 安装

通过 Smithery 自动为 Claude Desktop 安装 Oxylabs MCP 服务器：

npx -y @smithery/cli install @oxylabs/oxylabs-mcp --client claude

---

在 Claude Desktop 中使用 uv 安装

安装 uv 后，此方法将自动在 Claude Desktop 中设置 Oxylabs MCP 服务器。导航到 Claude → 设置 → 开发者 → 编辑配置 并按如下方式编辑您的 claude_desktop_config.json 文件：

{
  "mcpServers": {
    "oxylabs_scraper": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME_HERE",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD_HERE"
      }
    }
  }
}

[!TIP] 如果您遇到错误，请尝试在 command 字段中使用 uvx 的完整路径。例如，/Users/my-user/.local/bin/uvx。

---

💻 本地/开发设置说明

克隆存储库

git clone <git:url>

安装依赖项

安装 MCP 服务器依赖项：

cd mcp-server-oxylabs

# 创建虚拟环境并激活它
uv venv

source .venv/bin/activate # MacOS/Linux
# OR
.venv/Scripts/activate # Windows

# 安装依赖项
uv sync

使用 Claude Desktop 设置

导航到 Claude → 设置 → 开发者 → 编辑配置 并按如下方式编辑您的 claude_desktop_config.json 文件：

{
  "mcpServers": {
    "oxylabs_scraper": {
      "command": "uv",
      "args": [
        "--directory",
        "/<Absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME_HERE",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD_HERE"
      }
    }
  }
}

---

🐞 调试

make run

然后访问 MCP Inspector，地址为 http://localhost:5173。您可能需要在检查器中将您的用户名和密码作为环境变量添加到 OXYLABS_USERNAME 和 OXYLABS_PASSWORD 下。

🛠️ 技术细节

此服务器提供两个主要工具：

1. oxylabs_scraper：使用 Oxylabs Web Scraper API 进行常规网站抓取
2. oxylabs_web_unblocker：使用 Oxylabs Web Unblocker 访问难以访问的网站

Web Scraper API 支持 JavaScript 渲染、已解析的结构化数据以及 Markdown 格式的清理 HTML。Web Unblocker 提供 JavaScript 渲染和清理后的 HTML，但不返回已解析的数据。

---

[!WARNING] 与 MCP Inspector 的使用受到 MCP 的 Python SDK 持续存在的问题的影响，请参阅：https://github.com/modelcontextprotocol/python-sdk/pull/85。对于 Claude，使用 SDK 的一个 fork 版本作为临时修复。

许可证

此项目已获得 MIT 许可证 的许可。

关于 Oxylabs

Oxylabs 成立于 2015 年，是一个市场领先的网络情报收集平台，以最高的业务、道德和合规标准为驱动力，使全球公司能够解锁数据驱动的洞察力。