mcp-rquest

一个模型上下文协议 (MCP) 服务器，为 Claude 和其他 LLM 提供高级 HTTP 请求功能。构建于 rquest 之上，此服务器通过精确的 TLS/JA3/JA4 指纹实现逼真的浏览器模拟，使模型能够更自然地与网站交互并绕过常见的反爬虫措施。它还支持将 PDF 和 HTML 文档转换为 Markdown，以便 LLM 更轻松地处理。

特性

• 完整的 HTTP 方法: 支持 GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS 和 TRACE
• 浏览器指纹: 精确的 TLS、JA3/JA4 和 HTTP/2 浏览器指纹
• 内容处理:
  • 自动处理带有 token 计数的大型响应
  • HTML 到 Markdown 的转换，以更好地进行 LLM 处理
  • 使用 Marker 库进行 PDF 到 Markdown 的转换
  • 将响应安全地存储在系统临时目录中
• 身份验证支持: Basic、Bearer 和自定义身份验证方法
• 请求自定义:
  • 标头、cookie、重定向
  • 表单数据、JSON 有效负载、multipart/form-data
  • 查询参数
• SSL 安全性: 使用 BoringSSL 进行安全连接，并具有逼真的浏览器指纹

可用工具

• HTTP 请求工具:

  • http_get - 执行带有可选参数的 GET 请求
  • http_post - 通过 POST 请求提交数据
  • http_put - 使用 PUT 请求更新资源
  • http_delete - 使用 DELETE 请求删除资源
  • http_patch - 部分更新资源
  • http_head - 仅从资源检索标头
  • http_options - 检索资源的选项
  • http_trace - 诊断请求跟踪

• 响应处理工具:

  • get_stored_response - 检索存储的大型响应，可以选择按行范围检索
  • get_stored_response_with_markdown - 将 HTML 或 PDF 响应转换为 Markdown 格式，以更好地进行 LLM 处理
  • get_model_state - 获取 PDF 模型加载过程的当前状态
  • restart_model_loading - 如果 PDF 模型加载失败或卡住，则重新启动加载过程

PDF 支持

mcp-rquest 现在支持 PDF 到 Markdown 的转换，允许您下载 PDF 文件并将其转换为易于 LLM 处理的 Markdown 格式：

1. 自动 PDF 检测: 根据内容类型自动检测 PDF 文件
2. 无缝转换: 相同的 get_stored_response_with_markdown 工具适用于 HTML 和 PDF 文件
3. 高质量转换: 使用 Marker 库进行精确的 PDF 到 Markdown 转换
4. 优化性能: 模型在软件包安装期间预先下载，以避免请求处理期间的延迟

安装

使用 uv (推荐)

当使用 uv 时，无需进行特定安装。我们将使用 uvx 直接运行 mcp-rquest。

使用 pip

或者，您可以通过 pip 安装 mcp-rquest：

pip install mcp-rquest

安装后，您可以将其作为脚本运行：

python -m mcp_rquest

配置

为 Claude.app 配置

添加到您的 Claude 设置：

使用 uvx:

{
  "mcpServers": {
    "http-rquest": {
      "command": "uvx",
      "args": ["mcp-rquest"]
    }
  }
}

使用 pip:

{
  "mcpServers": {
    "http-rquest": {
      "command": "python",
      "args": ["-m", "mcp_rquest"]
    }
  }
}

使用 pipx:

{
  "mcpServers": {
    "http-rquest": {
      "command": "pipx",
      "args": ["run", "mcp-rquest"]
    }
  }
}

</details>

浏览器模拟

mcp-rquest 利用 rquest 强大的浏览器模拟功能来提供逼真的浏览器指纹，这有助于绕过机器人检测并访问通常仅对标准浏览器可用的内容。支持的浏览器指纹包括：

• Chrome（多个版本）
• Firefox
• Safari（包括 iOS 和 iPad 版本）
• Edge
• OkHttp

这确保了通过 mcp-rquest 发送的请求看起来像是合法的浏览器流量，而不是机器人请求。

开发

设置开发环境

1. 克隆存储库
2. 使用 uv 创建一个虚拟环境：

   uv venv
   

3. 激活虚拟环境：

   # Unix/macOS
   source .venv/bin/activate
   # Windows
   .venv\Scripts\activate
   

4. 安装开发依赖项：

   uv pip install -e ".[dev]"
   

致谢

• 此项目构建于 rquest 之上，它提供了具有浏览器指纹识别功能的高级 HTTP 客户端。
• rquest 基于 reqwest 的一个分支。