Qdrant 文件嵌入开发容器

本项目提供了一个开发容器设置，用于运行带有文件嵌入的 Qdrant。它包含了使用向量相似度搜索来索引和搜索文本文档所需的一切。

前提条件

1. 启动开发容器前，必须运行 Docker Desktop
2. 带有 Remote - Containers 扩展的 VS Code
3. 互联网连接（用于下载依赖项）

快速开始

1. 确保 Docker Desktop 在您的系统上运行
2. 在 VS Code 中打开此文件夹
3. 点击右下角的绿色 "Reopen in Container" 按钮
   • 或者按 F1 并输入 "Dev Containers: Reopen in Container"

项目结构

qdrant_server_devcontainer/ ├── .devcontainer/ │ ├── devcontainer.json │ └── Dockerfile ├── requirements.txt ├── ingest.py └── data/ # 将您的文本文件放在这里

用法

1. 将您的文本文件放在 data/ 目录中
2. 容器将自动启动 Qdrant
3. 容器构建完成后，您应该可以通过 http://localhost:6333 访问 Qdrant
4. 从容器内手动运行导入脚本：

   python ingest.py
   

特性

• 在后台运行的 Qdrant 向量数据库
• 使用 sentence-transformers 自动进行文件索引
• 包含所有必要依赖项的 Python 环境
• 预装 VS Code Python 扩展

技术细节

• Qdrant 在动态分配的端口上运行（检查容器构建后的输出面板）
• 使用 all-MiniLM-L6-v2 进行文本嵌入
• 创建一个名为 "local-docs" 的集合，使用余弦相似度
• 支持数据目录中的文本文件 (.txt)、Markdown 文件 (.md) 和 PDF 文件 (.pdf)

故障排除

1. 如果容器无法启动：

   • 确保 Docker Desktop 正在运行
   • 检查没有其他进程正在使用动态分配的端口
   • 验证所有依赖项是否已正确安装

2. 如果文件未被索引：

   • 检查文件是否在 data/ 目录中
   • 验证文件扩展名是否受支持（目前为 .txt、.md、.pdf）
   • 确保容器可以读取文件

许可证

MIT 许可证

TODO

• 高效处理大型 PDF 文件，
• 使用并行处理提取每页的文本，
• 嵌入并推送每个准备好的块，
• 如果 torch.cuda.is_available()，是否支持 GPU 嵌入？
• 增加对 epub 文件的支持