ScrapeGraph MCP Server

ScrapeGraph MCP Server
官方

一个生产就绪的模型上下文协议服务器,使语言模型能够利用 AI 驱动的网络抓取功能,提供将网页转换为 Markdown、提取结构化数据和执行 AI 驱动的网络搜索的工具。

浏览器自动化
搜索
Python
访问服务器

Tools

markdownify

Convert a webpage into clean, formatted markdown. Args: website_url: URL of the webpage to convert Returns: Dictionary containing the markdown result

smartscraper

Extract structured data from a webpage using AI. Args: user_prompt: Instructions for what data to extract website_url: URL of the webpage to scrape Returns: Dictionary containing the extracted data

searchscraper

Perform AI-powered web searches with structured results. Args: user_prompt: Search query or instructions Returns: Dictionary containing search results and reference URLs

README

ScrapeGraph MCP 服务器

ScapeGraph Smithery 集成

<a href="https://glama.ai/mcp/servers/37us0q2tr6"> <img width="380" height="200" src="https://glama.ai/mcp/servers/37us0q2tr6/badge" alt="ScrapeGraph Server MCP server" /> </a>

License: MIT Python 3.10 smithery badge

一个生产就绪的 模型上下文协议 (MCP) 服务器,提供与 ScapeGraph AI API 的无缝集成。该服务器使语言模型能够利用先进的 AI 驱动的 Web 抓取功能,并具有企业级的可靠性。

可用工具

该服务器提供以下企业级工具:

  • markdownify(website_url: str): 将任何网页转换为干净、结构化的 markdown 格式
  • smartscraper(user_prompt: str, website_url: str): 利用 AI 从任何网页提取结构化数据
  • searchscraper(user_prompt: str): 执行 AI 驱动的 Web 搜索,并提供结构化、可操作的结果

安装说明

要使用此服务器,您需要一个 ScapeGraph API 密钥。请按照以下步骤获取一个:

  1. 导航到 ScapeGraph 仪表板
  2. 创建一个帐户并生成您的 API 密钥

通过 Smithery 自动安装

使用 Smithery 自动安装 ScrapeGraph API 集成服务器:

npx -y @smithery/cli install @ScrapeGraphAI/scrapegraph-mcp --client claude

Claude Desktop 配置

使用以下设置更新您的 Claude Desktop 配置文件(位于 Cursor 页面右上角):

(请记住在配置中添加您的 API 密钥)

{
    "mcpServers": {
        "@ScrapeGraphAI-scrapegraph-mcp": {
            "command": "npx",
            "args": [
                "-y",
                "@smithery/cli@latest",
                "run",
                "@ScrapeGraphAI/scrapegraph-mcp",
                "--config",
                "\"{\\\"scrapegraphApiKey\\\":\\\"YOUR-SGAI-API-KEY\\\"}\""
            ]
        }
    }
}

配置文件位于:

  • Windows: %APPDATA%/Claude/claude_desktop_config.json
  • macOS: ~/Library/Application\ Support/Claude/claude_desktop_config.json

Cursor 集成

在设置中添加 ScrapeGraphAI MCP 服务器:

Cursor MCP 集成

示例用例

该服务器支持复杂的查询,例如:

  • "分析并提取 ScapeGraph API 的主要功能"
  • "生成 ScapeGraph 主页的结构化 markdown 版本"
  • "从 ScapeGraph 网站提取和分析定价信息"
  • "研究和总结 AI 驱动的 Web 抓取的最新发展"
  • "创建 Python 文档网站的全面摘要"

错误处理

该服务器实现了强大的错误处理,并提供详细、可操作的错误消息,用于:

  • API 身份验证问题
  • 格式错误的 URL 结构
  • 网络连接失败
  • 速率限制和配额管理

常见问题

Windows 特定连接

在 Windows 系统上运行时,您可能需要使用以下命令连接到 MCP 服务器:

C:\Windows\System32\cmd.exe /c npx -y @smithery/cli@latest run @ScrapeGraphAI/scrapegraph-mcp --config "{\"scrapegraphApiKey\":\"YOUR-SGAI-API-KEY\"}"

这确保了在 Windows 环境中的正确执行。

许可证

该项目根据 MIT 许可证分发。有关详细条款和条件,请参阅 LICENSE 文件。

致谢

特别感谢 tomekkorbak 实现的 oura-mcp-server,它作为本仓库的起点。

由 ❤️ ScrapeGraphAI 团队制作

推荐服务器

Playwright MCP Server

Playwright MCP Server

一个模型上下文协议服务器,它使大型语言模型能够通过结构化的可访问性快照与网页进行交互,而无需视觉模型或屏幕截图。

官方
精选
TypeScript
Kagi MCP Server

Kagi MCP Server

一个 MCP 服务器,集成了 Kagi 搜索功能和 Claude AI,使 Claude 能够在回答需要最新信息的问题时执行实时网络搜索。

官方
精选
Python
Exa MCP Server

Exa MCP Server

模型上下文协议(MCP)服务器允许像 Claude 这样的 AI 助手使用 Exa AI 搜索 API 进行网络搜索。这种设置允许 AI 模型以安全和受控的方式获取实时的网络信息。

官方
精选
Playwright MCP Server

Playwright MCP Server

提供一个利用模型上下文协议的服务器,以实现类人浏览器的自动化,该服务器使用 Playwright,允许控制浏览器行为,例如导航、元素交互和滚动。

精选
本地
TypeScript
@kazuph/mcp-fetch

@kazuph/mcp-fetch

用于获取网页内容和处理图像的模型上下文协议服务器。这使得 Claude Desktop(或任何 MCP 客户端)能够适当地获取网页内容和处理图像。

精选
本地
JavaScript
DuckDuckGo MCP Server

DuckDuckGo MCP Server

一个模型上下文协议 (MCP) 服务器,通过 DuckDuckGo 提供网页搜索功能,并具有内容获取和解析的附加功能。

精选
Python
YouTube Transcript MCP Server

YouTube Transcript MCP Server

这个服务器用于获取指定 YouTube 视频 URL 的字幕,从而可以与 Goose CLI 或 Goose Desktop 集成,进行字幕提取和处理。

精选
Python
serper-search-scrape-mcp-server

serper-search-scrape-mcp-server

这个 Serper MCP 服务器支持搜索和网页抓取,并且支持 Serper API 引入的所有最新参数,例如位置信息。

精选
TypeScript
The Verge News MCP Server

The Verge News MCP Server

提供从The Verge的RSS feed获取和搜索新闻的工具,允许用户获取今日新闻、检索过去一周的随机文章,以及在最近的Verge内容中搜索特定关键词。

精选
TypeScript
Crypto Price & Market Analysis MCP Server

Crypto Price & Market Analysis MCP Server

一个模型上下文协议 (MCP) 服务器,它使用 CoinCap API 提供全面的加密货币分析。该服务器通过一个易于使用的界面提供实时价格数据、市场分析和历史趋势。 (Alternative, slightly more formal and technical translation): 一个模型上下文协议 (MCP) 服务器,利用 CoinCap API 提供全面的加密货币分析服务。该服务器通过用户友好的界面,提供实时价格数据、市场分析以及历史趋势数据。

精选
TypeScript