fm-mcp-comfyui-bridge

这是一个用于访问 ComfyUI 的 MCP 服务器实现。该服务器使用 fm_comfyui_bridge 模块与 ComfyUI 进行集成，并提供图像生成功能。

🌟 功能

• 🖼️ 使用 ComfyUI 的图像生成功能
• 📝 生成图像的标题生成功能
• 🏷️ 生成图像的标签解析功能
• 🔄 使用 uv 进行简单的设置和启动
• 🌐 作为 MCP 服务器提供 API 接口

🔧 要求

• Python 3.13 或更高版本
• 本地运行的 ComfyUI（默认：http://localhost:8188）
• uv 包管理器

📥 安装

请准备好已安装 uv 的环境。

使用 uv 进行安装

# 克隆仓库
git clone https://github.com/rerofumi/fm-mcp-comfyui-bridge.git
cd fm-mcp-comfyui-bridge

# 使用 uv 安装依赖项
uv pip install -e .

🚀 使用方法

作为 MCP 服务器进行配置

请在您使用的代理工具的 MCP 设置中进行如下配置：

{
  "mcpServers": {
    "fm-mcp-comfyui-bridge": {
      "command": "uv",
      "args": [
        "--directory",
        "(安装目录)/fm-mcp-comfyui-bridge",
        "run",
        "fm-mcp-comfyui-bridge"
      ],
    }
  }
}

ComfyUI 的端点设置

默认情况下，ComfyUI 的端点设置为 http://localhost:8188。如有必要，请修改 main.py 中的设置。

Lora 的设置

需要创建用于图像生成的模型配置文件。请按照以下步骤进行设置：

1. 复制示例配置文件：

   cp src/fm_mcp_comfyui_bridge/config/sample_lora.yaml src/fm_mcp_comfyui_bridge/config/lora.yaml
   

2. 编辑复制的 lora.yaml 文件，设置要使用的模型名称：

   checkpoint: (要使用的检查点模型名称).safetensors
   image-size:
     height: 1024
     width: 1024
   lora:
   - enabled: false
     model: (要使用的LoRA模型名称).safetensors
     strength: 1.0
     trigger: 
   sampling:
     cfg: 5
     steps: 24
   vpred: true
   vision_model: gemma3:27b
   

3. 配置项说明：

   • checkpoint: 使用的基础模型的文件名（例如：animagine-xl-3.0.safetensors）
   • image-size: 生成图像的尺寸设置
   • lora: LoRA 模型的设置
     • enabled: 是否启用 LoRA（true 或 false）
     • model: 使用的 LoRA 模型的文件名
     • strength: LoRA 的应用强度（0.0〜1.0）
     • trigger: LoRA 的触发词
   • sampling: 采样设置
     • cfg: CFG 比例值
     • steps: 生成步数
   • vpred: 是否使用 v-prediction
   • vision_model: 用于图像分析以生成标题的 ollama 的 vision 兼容模型名称

模型文件必须放置在 ComfyUI 的相应目录中。

可用工具

1. generate_picture - 根据提示词生成图像

   @mcp.tool()
   def generate_picture(prompt: str) -> str:
       """通过传递要生成的提示词来请求图像生成，并返回生成的图像的 URL"""
   

2. get_picture - 获取指定图像的 PNG 二进制数据

   @mcp.tool()
   def get_picture(subfolder: str, filename: str) -> Image:
       """指定 subfolder 和 filename 以获取图像的 PNG 二进制数据"""
   

3. get_caption - 以文本格式获取图像的标题

   @mcp.tool()
   def get_caption(subfolder: str, filename: str) -> str:
       """指定 subfolder 和 filename 以文本格式获取生成的图像的标题"""
   

4. get_tag - 解析图像中的 WD1.4 标签并获取

   @mcp.tool()
   def get_tag(subfolder: str, filename: str) -> str:
       """指定 subfolder 和 filename 以文本格式获取从生成的图像解析的 WD1.4 标签"""
   

示例提示词

"1girl, cute cat ear maid" で画像を生成してください

图像生成后 画像のキャプションを表示

WD14タグを表示

画像生成のプロンプトが以下に添付されています。
まずはユーザーがこのプロンプトでどんな絵を描かせようとしているかを分析してください。
ユーザーの意図に対しプロンプトが不向き、もしくはより良い表現がある場合は意図を崩さない範囲で修正を加えて構いません。

ユーザーが与えたプロンプトを comfyui MCP を使って画像にしてください、comfyui に与える prompt は英語しか受け付けないのでプロンプトは必ず英語、それもできるだけ danbooru tag に翻訳して generate を依頼してください。generate の実行結果として返る文字列はURLです、生成の結果としてその URL を以下の markdown フォーマットで表示してください。
![{生成結果URL}]({生成結果URL})

danbooru tag におけるクオリティタグは以下です、頭に必ず追加するようにしてください。
"masterpiece, best quality, newest,"

生成されたリンクは画像ファイルへのリンクです。リンクのパラメータにある subfolder と filename を使って comfyui MCP の get_caption と get_tag 両方を取得して、画像に何が映っていたかを確認してください。それらキャプション＆タグ情報と目指しているプロンプトを分析し異なっていたら、元のプロンプトの意図へ近づけるよう、より良いプロンプトになるよう編集し、画像生成を繰り返してください。プロンプトで指示してもその単語が認識されないことがあります。一つの表現に固執するのではなく、目指しているものを別の表現で実現することを目指してみてください。
最大で 8回繰り返しながらより良いプロンプトを構築していきます。
## prompt
女の子と猫とリビング。窓から暖かい春の日差しが差し込んでいて、その暖かい光を受けて猫と女の子が居眠りをしている。部屋はフローリングだが、ラグとクッションがあり、そのクッションを枕にしている。寝る女の子の頭に猫がすり寄っていて、仲がよさそう。穏やかな日常の風景。

API 资源

@mcp.resource("info://about")
def get_info() -> str:
    """服务器信息"""

@mcp.resource("help://tools")
def get_tools_help() -> str:
    """工具的帮助"""

@mcp.resource("docs://{topic}")
def get_documents(topic: str) -> str:
    """工具的文档"""

📚 依赖关系

主要依赖关系如下：

• fm-comfyui-bridge>=0.7.0 - 与 ComfyUI 的集成模块
• mcp[cli]>=1.6.0 - MCP 服务器框架
• requests>=2.32.3 - HTTP 请求处理
• huggingface-hub>=0.25.2 - Hugging Face 模型仓库访问
• numpy>=2.1.2 - 数值计算库
• ollama>=0.3.3 - 本地 LLM 支持
• onnxruntime>=1.19.2 - ONNX 模型运行环境
• pandas>=2.2.3 - 数据分析库

📄 许可证

该项目在 MIT 许可证下发布。有关详细信息，请参阅 LICENSE 文件。

👤 作者

• rerofumi - GitHub - rero2@yuumu.org

---

fm-mcp-comfyui-bridge 是一个利用 fm_comfyui_bridge 模块的项目。

WD1.4 标签解析部分使用了 SmilingWolf 先生创建的 wd-tagger 的源代码和模型数据。模型数据在首次运行时下载。