sd-for-designers

一个完全自动化的工作流，用于触发、运行和管理使用 Vertex AI 微调、训练和部署自定义 Stable Diffusion 模型

描述

Sd-aa-S 是一个完全自动化的 MLOps 管道，用于使用 GCP 组件（如 Google Cloud Storage、Cloud Build、Cloud PubSub、Firestore、Cloud Run、Cloud Functions 和 Vertex AI）在 GCP 上触发、管理和跟踪 Stable Diffusion 微调作业。它旨在简化使用不同技术调整 Stable Diffusion 的 ML 工作流，从 Dreambooth 开始。对 Lora、ControlNet 等的支持即将推出。该项目面向 ML/数据工程师、数据科学家以及任何有兴趣或正在构建用于大规模微调 Stable Diffusion 的平台的人。

三个部分

1. 应用部分

1. 设置您的云环境
2. 创建一个后端服务来处理上传到 GCS 存储桶的操作
    - 接收来自客户端的图像，并将它们存储在预定义的 GCS 存储桶路径下
    - 在 Firestore 集合中跟踪单个上传的状态
    - 在单独的 Firestore 集合中跟踪整个上传作业的状态
    - 作业完成后，将 jobID 作为消息发布到预定义的 PubSub 主题上
3. 使用 Cloud Build 将此后端服务部署为 Cloud Run 端点
4. 创建一个前端门户，使用 ReactJs 上传图像
5. 将前端服务部署在 Cloud Run 上

2. Vertex AI 部分

1. 设置您的云环境
2. 创建一个新的自定义容器工件，用于运行管道组件
3. 创建一个新的自定义容器工件，用于运行训练作业本身
4. 创建一个 Jupyter notebook，概述管道流程和组件
5. 从 Vertex AI workbench 编译一个 YAML 文件，并将预编译的 YAML 文件存储在 GCS 存储桶路径下

3. 管道部分

1. 设置您的云环境
2. 创建一个云函数，该函数在每次 jobID 发布到预定义的主题（来自第一部分）时触发
3. 在云函数中，Python 代码订阅该主题，并使用预编译的 YAML 文件（来自第二部分）触发 Vertex AI 管道作业
4. 管道作业使用 Dreambooth 微调 Stable Diffusion 模型，将新的自定义模型上传到模型注册表并部署一个端点
5. 该作业还会更新 Firestore，其中包含从开始到结束的管道作业的状态