MCP Webscan 服务器

一个用于网页内容扫描和分析的模型上下文协议 (MCP) 服务器。此服务器提供用于获取、分析和提取网页信息的工具。

功能特性

• 页面获取: 将网页转换为 Markdown 格式，便于分析
• 链接提取: 从网页中提取和分析链接
• 站点爬取: 递归地爬取网站以发现内容
• 链接检查: 识别网页上的坏链
• 模式匹配: 查找与特定模式匹配的 URL
• 站点地图生成: 为网站生成 XML 站点地图

安装

# 克隆仓库
git clone <repository-url>
cd mcp-server-webscan

# 安装依赖
npm install

# 构建项目
npm run build

使用方法

启动服务器

npm start

该服务器运行在 stdio 传输上，使其与 Claude Desktop 等 MCP 客户端兼容。

可用工具

1. fetch_page

   • 获取网页并将其转换为 Markdown 格式
   • 参数：
     • url (必需): 要获取的页面的 URL
     • selector (可选): 用于定位特定内容的 CSS 选择器

2. extract_links

   • 提取网页中的所有链接及其文本
   • 参数：
     • url (必需): 要分析的页面的 URL
     • baseUrl (可选): 用于过滤链接的基础 URL

3. crawl_site

   • 递归地爬取网站，直到指定的深度
   • 参数：
     • url (必需): 要爬取的起始 URL
     • maxDepth (可选, 默认: 2): 最大爬取深度

4. check_links

   • 检查页面上的坏链
   • 参数：
     • url (必需): 要检查链接的 URL

5. find_patterns

   • 查找与特定模式匹配的 URL
   • 参数：
     • url (必需): 要搜索的 URL
     • pattern (必需): 用于匹配 URL 的正则表达式模式

6. generate_sitemap

   • 生成一个简单的 XML 站点地图
   • 参数：
     • url (必需): 站点地图的根 URL
     • maxUrls (可选, 默认: 100): 要包含的最大 URL 数量

与 Claude Desktop 一起使用的示例

1. 在您的 Claude Desktop 设置中配置服务器：

{
  "mcpServers": {
    "webscan": {
      "command": "node",
      "args": ["path/to/mcp-server-webscan/dist/index.js"],
      "env": {
        "NODE_ENV": "development"
      }
    }
  }
}

2. 在您的对话中使用这些工具：

你能从 https://example.com 获取内容并将其转换为 Markdown 格式吗？

开发

前提条件

• Node.js >= 18
• npm

项目结构

mcp-server-webscan/
├── src/
│   └── index.ts    # 主要服务器实现
├── dist/           # 编译后的 JavaScript
├── package.json
└── tsconfig.json

构建

npm run build

开发模式

npm run dev

错误处理

服务器实现了全面的错误处理：

• 无效的参数
• 网络错误
• 内容解析错误
• URL 验证

所有错误都按照 MCP 规范正确格式化。

贡献

1. Fork 仓库
2. 创建您的功能分支 (git checkout -b feature/amazing-feature)
3. 提交您的更改 (git commit -m 'Add some amazing feature')
4. 推送到分支 (git push origin feature/amazing-feature)
5. 打开一个 Pull Request

许可证

MIT 许可证 - 有关详细信息，请参阅 LICENSE 文件