UseScraper MCP 服务器

这是一个基于 TypeScript 的 MCP 服务器，它使用 UseScraper API 提供网页抓取功能。它公开了一个名为 'scrape' 的工具，可以从各种格式的网页中提取内容。

<a href="https://glama.ai/mcp/servers/oqq8he02cy"><img width="380" height="200" src="https://glama.ai/mcp/servers/oqq8he02cy/badge" alt="UseScraper Server MCP server" /></a>

功能

工具

• scrape - 从网页提取内容
  • 参数:
    • url (必需): 要抓取的网页的 URL
    • format (可选): 保存内容的格式 (text, html, markdown)。默认值: markdown
    • advanced_proxy (可选): 使用高级代理来规避机器人检测。默认值: false
    • extract_object (可选): 指定要提取的数据的对象

安装

通过 Smithery 安装

要通过 Smithery 为 Claude Desktop 自动安装 UseScraper：

npx -y @smithery/cli install usescraper-server --client claude

手动安装

1. 克隆存储库:

   git clone https://github.com/your-repo/usescraper-server.git
   cd usescraper-server
   

2. 安装依赖项:

   npm install
   

3. 构建服务器:

   npm run build
   

配置

要与 Claude Desktop 一起使用，请添加服务器配置：

在 MacOS 上: ~/Library/Application Support/Claude/claude_desktop_config.json 在 Windows 上: %APPDATA%/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

将 /path/to/usescraper-server 替换为服务器的实际路径，并将 your-api-key-here 替换为您的 UseScraper API 密钥。

用法

配置完成后，您可以通过 MCP 接口使用 'scrape' 工具。 用法示例：

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

开发

对于具有自动重建功能的开发：

npm run watch

调试

由于 MCP 服务器通过 stdio 进行通信，因此调试可能具有挑战性。 我们建议使用 MCP Inspector，它作为包脚本提供：

npm run inspector

Inspector 将提供一个 URL 以访问浏览器中的调试工具。