Book Crawler MCP

一个自动化的 PDF 书籍爬取和 Gumroad 发布工具，使用 AI 生成商品描述。

功能

工具	描述
fetch_arxiv_papers	从 arXiv 获取学术论文
fetch_github_repos	从 GitHub 获取热门仓库
download_pdf	下载 PDF 文件
extract_pdf_content	提取 PDF 内容和元数据
generate_gumroad_listing	使用 AI 生成 Gumroad 商品描述
publish_to_gumroad	发布商品到 Gumroad
auto_crawl_and_publish	一键全自动爬取并发布
list_gumroad_products	查看已发布的商品

安装

1. 克隆并安装依赖

git clone https://github.com/LiZhuBin/book-crawler-mcp.git
cd book-crawler-mcp
npm install
npm run build

2. 配置环境变量

复制 .env.example 为 .env 并填入你的密钥：

cp .env.example .env

# Gumroad API Token
# 获取方式：https://gumroad.com/settings -> Advanced
GUMROAD_ACCESS_TOKEN=your_token_here

# Anthropic API Key (用于 AI 生成商品描述)
# 获取方式：https://console.anthropic.com/settings/keys
ANTHROPIC_API_KEY=your_key_here

使用

MCP 配置

在 Claude 的 MCP 配置文件中添加：

{
  "mcpServers": {
    "book-crawler": {
      "command": "npx",
      "args": ["book-crawler-mcp"],
      "env": {
        "GUMROAD_ACCESS_TOKEN": "your_token",
        "ANTHROPIC_API_KEY": "your_key"
      }
    }
  }
}

使用示例

1. 从 arXiv 获取论文

{
  "categories": ["cs.AI", "cs.LG", "cs.CL"],
  "limit": 10
}

2. 下载并提取 PDF 内容

{
  "url": "https://arxiv.org/pdf/2301.00001.pdf"
}

3. 生成 Gumroad 商品描述

{
  "pdfContent": "提取的 PDF 内容...",
  "title": "论文标题",
  "author": "作者名"
}

4. 发布到 Gumroad

{
  "name": "商品名称",
  "description": "商品描述 (Markdown)",
  "price": 1999,
  "currency": "USD"
}

5. 全自动模式

{
  "source": "arxiv",
  "categories": ["cs.AI", "cs.LG"],
  "autoPublish": true,
  "priceRange": {
    "min": 999,
    "max": 4999
  }
}

工作流程

┌─────────────────────────────────────────────────────────────┐
│  1. fetch_arxiv_papers / fetch_github_repos                │
│     → 获取热门资源列表                                       │
└─────────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────────┐
│  2. download_pdf                                            │
│     → 下载 PDF 文件到本地                                     │
└─────────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────────┐
│  3. extract_pdf_content                                     │
│     → 提取文本内容和元数据                                    │
└─────────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────────┐
│  4. generate_gumroad_listing                               │
│     → AI 生成商品标题、描述、定价                              │
└─────────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────────┐
│  5. publish_to_gumroad                                      │
│     → 上传文件并发布商品                                      │
└─────────────────────────────────────────────────────────────┘

开发

# 安装依赖
npm install

# 开发模式
npm run dev

# 构建
npm run build

# 运行
npm start

注意事项

1. 版权: 确保你有权分发爬取的内容
2. API 限制: 遵守各平台的 API 调用频率限制
3. 定价责任: AI 生成的价格仅供参考，请自行判断

License

MIT

Links

• Gumroad API
• arXiv API
• GitHub API
• Anthropic API