DevDocs by CyberAGI 🚀

<div align="center"> <img src="https://github.com/user-attachments/assets/6d4cc4df-fe5d-4483-9218-3d621f572e49" alt="DevDocs Interface" width="800"> <img src="https://github.com/user-attachments/assets/00350dc6-2ff3-40cf-b0b3-8b3e387d983d" alt="DevDocs Interface" width="800">

<p align="center"> <strong>将数周的文档研究转化为数小时的高效开发</strong> </p>

<p align="center"> <a href="#-perfect-for">适用对象</a> • <a href="#-features">功能特性</a> • <a href="#-why-devdocs">为何选择 DevDocs</a> • <a href="#-getting-started">快速上手</a> • <a href="#-scripts-and-their-purpose">脚本及其用途</a> • <a href="#-pricing-comparison">与 FireCrawl 比较</a> • <a href="#-join-our-community">Discord</a> </p> </div>

🎯 适用对象

🏢 企业软件开发者

无需花费数周时间阅读文档和处理技术债务。通过让 DevDocs 处理文档理解的繁重工作，更快地实施任何技术。

🕸️ Web 爬虫

通过智能发现子 URL（最多 5 级）来提取网站的全部内容。非常适合内部和外部网站文档的智能爬取。

👥 开发团队

利用内置的 MCP 服务器和 Claude 集成来处理内部文档，以进行智能数据查询。将您团队的知识库转化为可操作的资源。

🚀 独立开发者

DevDocs + VSCode(cline) + 您的想法 = 使用任何技术快速交付产品。在构建您的下一个伟大产品时，不再陷入文档地狱。

✨ 功能特性

🧠 智能爬取

• 智能深度控制：选择 1-5 级的爬取深度
• 自动链接发现：查找并分类所有相关内容
• 选择性爬取：准确选择您要提取的内容
• 子 URL 检测：自动发现并映射网站结构

⚡ 性能与速度

• 并行处理：同时爬取多个页面
• 智能缓存：绝不在重复内容上浪费时间
• 懒加载支持：轻松处理现代 Web 应用程序
• 速率限制：尊重服务器的爬取，不会使其过载

🎯 内容处理

• 干净提取：获取没有冗余的内容
• 多种格式：导出为 MD 或 JSON 以进行 LLM 微调
• 结构化输出：逻辑组织的内容
• MCP 服务器集成：已准备好进行 AI 处理

🛡️ 企业功能

• 错误恢复：自动重试失败
• 完整日志记录：跟踪每个操作
• API 访问：与您的工具集成
• 团队管理：多个席位和角色

🤔 为何选择 DevDocs？

问题

文档无处不在，而 LLM 的知识已经过时。即使对于高级工程师来说，阅读、理解和实施也需要数周的研究和开发。我们将时间缩短到几个小时。

我们的解决方案

DevDocs 将文档带给您。将其指向任何技术文档 URL，并观看它：

1. 发现该技术的所有相关页面
2. 提取有意义的内容，而没有冗余
3. 将信息逻辑地组织在 MCP 服务器中，以便您的 LLM 查询
4. 以干净、可搜索的 MD 或 JSON 格式呈现，以用于微调 LLM

🔥 我们希望世界上任何人都有能力使用最前沿的 LLM 技术快速构建出色的产品。

💰 价格比较

功能	DevDocs	Firecrawl
免费层级	无限页面	无
起始价格	永久免费	$16/月
企业计划	自定义	$333/月
爬取速度	1000/分钟	20/分钟
深度级别	最高 5 级	有限
团队席位	无限	1-5 个席位
导出格式	MD、JSON、LLM-ready MCP 服务器	有限格式
API 访问	即将推出	有限
模型上下文协议集成	✅	❌
支持	通过 Discord 提供优先支持	仅标准支持
自托管（免费使用）	✅	❌

🚀 快速上手

DevDocs 旨在通过 Docker 轻松使用，只需为新用户进行最少的设置。

前提条件

• 您的系统上已安装 Docker
• 用于克隆存储库的 Git

使用 Docker 快速启动（推荐）

对于 Mac/Linux 用户：

# 克隆存储库
git clone https://github.com/cyberagiinc/DevDocs.git

# 导航到项目目录
cd DevDocs

# 使用 Docker 启动所有服务
./docker-start.sh

对于 Windows 用户：

# 克隆存储库
git clone https://github.com/cyberagiinc/DevDocs.git

# 导航到项目目录
cd DevDocs

# 使用 Docker 启动所有服务
docker-start.bat

<details> <summary>Windows 用户注意事项</summary>

如果您遇到权限问题，您可能需要以管理员身份运行脚本，或者手动设置 logs、storage 和 crawl_results 目录的权限。该脚本使用 icacls 命令来设置权限，这可能需要在某些 Windows 系统上提升权限。

在 Windows 上手动设置权限：

如果您需要手动设置权限，您可以使用 Windows GUI 或命令行来执行此操作：

使用 Windows 资源管理器：

1. 右键单击每个目录（logs、storage、crawl_results）
2. 选择“属性”
3. 转到“安全”选项卡
4. 单击“编辑”以更改权限
5. 单击“添加”以添加用户/组
6. 键入“Everyone”并单击“检查名称”
7. 单击“确定”
8. 在列表中选择“Everyone”
9. 在“允许”下选中“完全控制”
10. 单击“应用”和“确定”

使用命令提示符（以管理员身份）：

icacls logs /grant Everyone:F /T
icacls storage /grant Everyone:F /T
icacls crawl_results /grant Everyone:F /T

</details>

<details> <summary>关于 Windows 上 docker-compose.yml 的说明</summary>

如果您在使用 docker-compose.yml 文件时遇到问题（例如“顶级对象必须是映射”错误），docker-start.bat 脚本会自动修复此问题，确保文件具有正确的格式和编码。 每次运行脚本时都会应用此修复，因此您无需手动修改文件。 </details>

这个简单的命令将：

1. 创建所有必要的目录
2. 设置适当的权限
3. 构建并启动所有 Docker 容器
4. 监控服务以确保它们正常运行

访问 DevDocs

服务运行后：

• 前端 UI：http://localhost:3001
• 后端 API：http://localhost:24125
• Crawl4AI 服务：http://localhost:11235

日志和监控

使用 Docker 时，可以访问日志：

1. 容器日志（推荐用于调试）：

   # 查看特定容器的日志
   docker logs devdocs-frontend
   docker logs devdocs-backend
   docker logs devdocs-mcp
   docker logs devdocs-crawl4ai
   
   # 实时跟踪日志
   docker logs -f devdocs-backend
   

要停止所有服务，请在运行 docker-start 的终端中按 Ctrl+C。

📜 脚本及其用途

DevDocs 包含各种实用程序脚本，以帮助进行开发、测试和维护。 这是一个快速参考：

启动脚本

• start.sh / start.bat / start.ps1 - 启动所有服务（前端、后端、MCP）以进行本地开发。
• docker-start.sh / docker-start.bat - 使用 Docker 容器启动所有服务。

MCP 服务器脚本

• check_mcp_health.sh - 验证 MCP 服务器的运行状况和配置状态。
• restart_and_test_mcp.sh - 使用更新的 MCP 配置重新启动 Docker 容器并测试连接。

Crawl4AI 脚本

• check_crawl4ai.sh - 检查 Crawl4AI 服务的状态和运行状况。
• debug_crawl4ai.sh - 在调试模式下运行 Crawl4AI，并提供详细的日志记录以进行故障排除。
• test_crawl4ai.py - 针对 Crawl4AI 服务运行测试以验证功能。
• test_from_container.sh - 从 Docker 容器中测试 Crawl4AI 服务。

实用程序脚本

• view_result.sh - 以格式化的视图显示爬取结果。
• find_empty_folders.sh - 识别项目结构中的空目录。
• analyze_empty_folders.sh - 分析空文件夹并按风险级别对其进行分类。
• verify_reorganization.sh - 验证代码重组是否成功。

这些脚本组织在以下目录中：

• 根目录：用于常见操作的主要脚本
• scripts/general/：通用实用程序脚本
• scripts/docker/：特定于 Docker 的脚本
• scripts/mcp/：MCP 服务器管理脚本
• scripts/test/：测试和验证脚本

🌍 由开发者为开发者构建

DevDocs 不仅仅是一个工具，它是您的文档助手，可以：

• 节省时间：将数周的研究转化为数小时
• 提高理解：获取干净、有组织的文档
• 实现创新：使用任何技术更快地构建
• 支持团队：高效地共享知识
• LLM 就绪：现代需要现代解决方案，将 devdocs 与 LLM 结合使用非常简单直观。 通过最少的配置，您可以运行 Devdocs 和 Claude App，并且可以识别 DevDocs 的 MCP 服务器，随时可以与您的数据聊天。

🛠️ 设置 Cline/Roo Cline 以进行快速软件开发。

1. 打开“模式”界面

   • 在 Roo Code 中，单击 + 以创建新的特定于模式的提示。 <br>

2. 名称

   • 为模式指定一个名称（例如，Research_MCP）。 <br>

3. 角色定义提示 <details> <summary>提示</summary>

专业知识和个性：专业知识：开发者文档检索、技术综合和文档搜索。 个性：系统化、注重细节和精确。 提供结构良好的答案，并清楚地引用文档部分。

行为准则：在处理有关 MCP 文档的任何查询时，始终使用目录和章节访问工具。 在您的回复中保持清晰、准确和可追溯性。

</details> <br>

4. 特定于模式的自定义指令提示 <details> <summary> 提示 </summary>

1. 目录工具：返回文档主题的完整或过滤列表。
2. 章节访问工具：检索特定文档章节的详细内容。

一般流程：查询解释：解析用户的查询以提取关键主题、关键字和上下文。 从查询中识别可能相关的章节（例如，API 配置、错误处理）。

通过目录发现：使用目录工具在文档索引中搜索相关章节。 过滤或扫描标题和元数据以查找匹配的关键字。

使用章节访问进行深入研究：对于每个已识别的相关文档或章节，使用章节访问工具检索其内容。 如果需要多个部分，请请求所有相关章节以确保全面覆盖。

综合和响应形成：将检索到的内容组合成一个连贯且完整的答案。 引用章节标识符或文档路径以实现可追溯性。 验证查询的每个方面都已得到解决。

错误处理：如果未找到匹配的章节，请调整搜索参数并重试。 如果查询仍然不明确或没有可用的相关文档，请清楚地报告。

强制工具使用：
强制执行：每次收到需要来自 MCP 服务器文档的信息的查询时，代理必须首先查询目录工具以列出潜在的相关主题，然后使用章节访问工具检索必要的详细内容。

搜索和检索工作流程：
解释和隔离：从用户的查询中识别关键术语和数据点。

索引查找：立即查询目录工具以获取相关文档章节的列表。

有针对性的检索：对于每个有希望的章节，使用章节访问工具获取完整内容。

信息综合：合并检索到的内容，确保包含所有必要的详细信息并清楚地引用。

回退和澄清：如果初始搜索产生的数据不足，请调整查询参数并根据需要检索其他章节。

自定义指令加载：特定于 Research_MCP 模式的其他自定义指令可以从您工作区中的 .clinerules-research-mcp 文件加载。 这些可能包括基于不断发展的文档结构或查询类型的进一步改进或约束。

最终输出构建：最终答案应组织良好，直接解决查询，并包括指向 MCP 文档的清晰指针（例如，章节名称或标识符）。 确保以最少的冗余覆盖所有必要的细节。

</details> <br>

🤝 加入我们的社区

• 🌟 在 GitHub 上为我们点赞
• 👋🏽 在 Linkedin 上联系我们的创始人
• 💬 加入我们的 Discord 社区

🏆 成功案例

“DevDocs 将我们的 3 周实施时间缩短为 2 天。它不仅仅是一个爬虫，它还是一个开发加速器。” - 财富 100 强公司的高级工程师

“通过使用 DevDocs 快速理解和实施新技术，我在一半的时间内推出了我的 SaaS。” - 成功的独立开发者

📝 技术合作伙伴

<img src="assets/image-6.png" width="200" height="100"> <img src="assets/image-7.png" width="250" height="100"> <img src="assets/image-8.png" width="300" height="100">

Star History

<p align="center">由 ❤️ <a href="https://www.cyberagi.ai">CyberAGI Inc</a> 在 🇺🇸 制作</p>

<p align="center"> _{让软件开发再次变得更好 <a href="https://github.com/cyberagi/devdocs">为 DevDocs 做出贡献</a>} </p>