MCP服务器数据集构建器

一个用于构建和维护模型上下文协议 (MCP) 服务器数据集的综合工具。此工具自动从多个来源收集、分类和更新有关 MCP 服务器的信息。

概述

MCP服务器数据集构建器旨在：

1. 从 awesome-mcp-servers 仓库中提取 MCP 服务器信息
2. 在 GitHub 上搜索其他 MCP 服务器仓库
3. 合并并去重来自两个来源的数据
4. 生成一个每日 CSV 文件，其中包含每个服务器的全面信息

特性

• 双重数据源: 结合来自精选列表和 GitHub 搜索的数据
• 自动分类: 根据仓库内容分配类别
• 技术栈检测: 识别编程语言和框架
• 表情符号标记: 添加视觉指示器以便快速识别
• 每日更新: 自动运行以保持数据集最新
• 数据持久性: 在添加新条目的同时维护历史数据

数据集结构

生成的 CSV 文件包含以下字段：

字段	描述
name	仓库名称
description	仓库描述
html_url	仓库的 URL
stars	GitHub 星星数
forks	GitHub Fork 数
keywords	逗号分隔的关键字列表
category	主要类别（例如，框架、实用程序、客户端）
techstack	逗号分隔的使用技术列表
emojis	用于快速识别的视觉指示器

用法

自动每日更新

数据集通过 GitHub Actions 自动每日更新。无需手动干预。

手动触发

您可以从 GitHub Actions 选项卡手动触发工作流程：

1. 转到仓库中的“Actions”选项卡
2. 选择“Unified MCP Servers Extraction”
3. 点击“Run workflow”
4. 可选的自定义：
   • GitHub 搜索的关键字
   • 最小星星数和 Fork 数阈值
   • 要运行的提取方法

本地开发

要在本地运行脚本：

# 安装依赖
pip install -r requirements.txt

# 运行 README 提取
python extract_mcp_servers.py

# 运行 GitHub 搜索
python daily.py

环境变量

可以使用以下环境变量来自定义行为：

变量	描述	默认值
GITHUB_TOKEN	用于身份验证的 GitHub API 令牌	-
KEYWORDS_ENV	逗号分隔的搜索关键字列表	与 MCP 相关的关键字
MIN_STARS	仓库的最小星星数	10
MIN_FORKS	仓库的最小 Fork 数	5

数据源

1. Awesome MCP Servers 仓库

该工具从 awesome-mcp-servers 仓库中提取数据，该仓库包含按类别组织的 MCP 服务器的精选列表。

2. GitHub 搜索

该工具在 GitHub 上搜索与 MCP 相关的关键字匹配的仓库，以确保全面覆盖生态系统。

分类系统

仓库根据其内容和用途进行分类：

• Framework: 核心 MCP 服务器实现
• Utility: 辅助工具和实用程序
• Client: 客户端库和应用程序
• Tutorial: 学习资源和示例
• Database: 数据库集成
• API: API 实现
• Storage: 存储解决方案
• AI: AI 和 LLM 集成
• Chat: 聊天和消息传递功能
• Search: 搜索功能

技术栈检测

该工具识别以下技术：

• Languages: Python, TypeScript, Go, Rust, Java, C#
• Frameworks: FastAPI, Langchain, Spring
• Protocols: SSE, WebSocket, HTTP
• Deployment: Cloud, Local, Docker
• Platforms: iOS, Windows, Linux

贡献

欢迎贡献！请随时提交 Pull Request。

许可证

该项目根据 MIT 许可证获得许可 - 有关详细信息，请参阅 LICENSE 文件。