MCP 服务器

Website Scraper MCP Server

一个 MCP 服务器，它使用 Mozilla 的 Readability 引擎从网站提取有意义的内容，并将 HTML 转换为高质量的 Markdown。

README

网站抓取器

一个用于抓取网站并将 HTML 转换为 Markdown 的命令行工具和 MCP 服务器。

功能特性

使用 Mozilla 的 Readability 库（与 Firefox 阅读视图中使用的引擎相同）从网页中提取有意义的内容
使用 TurndownService 将干净的 HTML 转换为高质量的 Markdown
通过删除潜在的有害脚本标签来安全地处理 HTML
既可以作为命令行工具使用，也可以作为 MCP 服务器使用
支持将本地 HTML 文件直接转换为 Markdown

安装

# 安装依赖
npm install

# 构建项目
npm run build

# （可选）全局安装
npm install -g .

使用方法

CLI 模式

# 将输出打印到控制台
scrape https://example.com

# 将输出保存到文件
scrape https://example.com output.md

# 将本地 HTML 文件转换为 Markdown
scrape --html-file input.html

# 转换本地 HTML 文件并将输出保存到文件
scrape --html-file input.html output.md

# 显示帮助
scrape --help

# 或者通过 npm 脚本运行
npm run start:cli -- https://example.com

MCP 服务器模式

此工具可以用作模型上下文协议 (MCP) 服务器：

# 以 MCP 服务器模式启动
npm start

代码结构

src/index.ts - 核心功能和 MCP 服务器实现
src/cli.ts - 命令行界面实现
src/data_processing.ts - HTML 到 Markdown 的转换功能

API

该工具导出以下函数：

// 抓取网站并转换为 Markdown
import { scrapeToMarkdown } from './build/index.js';

// 直接将 HTML 字符串转换为 Markdown
import { htmlToMarkdown } from './build/data_processing.js';

async function example() {
  // 网页抓取
  const markdown = await scrapeToMarkdown('https://example.com');
  console.log(markdown);
  
  // 直接 HTML 转换
  const html = '<h1>Hello World</h1><p>This is <strong>bold</strong> text.</p>';
  const md = htmlToMarkdown(html);
  console.log(md);
}