RAG-MCP 流水线研究

一个综合性的研究项目，探索使用免费和开源模型的检索增强生成 (RAG) 和多云处理 (MCP) 服务器集成。

项目概述

本仓库作为一个结构化的学习和研究路径，用于理解如何通过 MCP 服务器将大型语言模型 (LLM) 与外部服务集成，重点关注会计软件集成（例如 QuickBooks）等实际业务应用。

🌟 主要特性

• 无需付费 API 密钥 - 使用免费的 Hugging Face 模型
• 所有内容都在本地运行，无需外部依赖
• 面向初学者的全面分步文档
• 带有工作代码的实用示例

研究模块

模块 0: 先决条件

在深入研究特定领域之前，建立坚实的基础：

• 编程和工具：Python、Git/GitHub、Docker
• 基本概念：机器学习、RESTful API、云服务
• AI 和 LLM 基础：理解 transformers、RAG 和提示工程
• 使用免费模型设置开发环境

模块 1: AI 建模和 LLM 集成

• 理解不同的 LLM 架构和能力
• 与各种 LLM 提供商（Hugging Face、开源模型）的集成方法
• 针对特定领域的微调策略
• 评估指标和性能优化

模块 2: AI 的托管和部署策略

• AI 应用的可扩展基础设施
• 成本优化技术
• 模型服务选项（无服务器、基于容器、专用实例）
• LLM 应用的监控和可观察性

模块 3: 深入了解 MCP 服务器

• MCP 服务器的架构和组件
• 为外部服务集成构建安全 API 网关
• 身份验证和授权模式
• 命令执行协议和标准化

模块 4: API 集成和命令执行

• 与业务软件 API（QuickBooks 等）集成
• 数据转换和规范化
• 错误处理和弹性策略
• 测试和验证方法

模块 5: RAG（检索增强生成）和替代策略

• 向量数据库选择和优化
• 文档处理流水线
• 混合检索方法
• LLM 的替代增强策略

项目目标

1. 全面理解 RAG 和 MCP 服务器概念
2. 构建与流行的商业软件的集成原型
3. 开发一个用于 AI 驱动的数据录入和处理的框架
4. 为未来的实施创建文档和最佳实践

开始使用

1. 将此仓库克隆到您的本地机器

   git clone https://github.com/your-username/rag-mcp-pipeline-research.git
   cd rag-mcp-pipeline-research
   

2. 运行设置脚本以准备您的环境

   # 导航到项目目录
   python src/setup_environment.py
   

3. 激活虚拟环境

   # 在 Windows 上
   venv\Scripts\activate
   
   # 在 macOS/Linux 上
   source venv/bin/activate
   

4. 从 模块 0: 先决条件 开始

5. 依次完成每个模块

6. 完成每个部分的实践练习

为什么选择免费模型？

本项目有意使用 Hugging Face 的免费开源模型，而不是像 OpenAI 这样的商业 API，原因如下：

1. 可访问性 - 任何人都可以参与，没有经济障碍
2. 教育价值 - 更好地理解模型内部的工作原理
3. 隐私 - 所有处理都在您的本地机器上进行
4. 灵活性 - 更容易定制和微调模型以满足特定需求
5. 面向未来 - 技能可以转移到任何模型，不依赖于特定的提供商

对于生产应用，您可以选择使用商业 API 以获得更好的性能，但这里学到的概念普遍适用。

许可证

MIT