ComfyUI-Gemini开发者指南：自定义节点开发与API集成详解

郜垒富Maddox

320人浏览 · 2026-06-23 08:26:41

郜垒富Maddox · 2026-06-23 08:26:41 发布

ComfyUI-Gemini开发者指南：自定义节点开发与API集成详解

【免费下载链接】ComfyUI-Gemini Using Gemini in ComfyUI 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Gemini

ComfyUI-Gemini是一个强大的自定义节点扩展，它将Google的Gemini AI模型无缝集成到ComfyUI工作流中，为AI图像生成和文本处理提供了完整的解决方案。这个开源项目让开发者能够轻松地在ComfyUI中调用Gemini API，实现智能提示词生成、图像描述、多模态对话等高级功能。🚀

📋 项目架构与核心组件

项目结构概览

ComfyUI-Gemini采用模块化设计，主要包含以下核心文件：

GeminiAPINode.py - 主要的Python节点实现文件，包含所有Gemini相关节点
js/GeminiAPINode.js - 前端JavaScript扩展，处理UI交互
config.json - 配置文件，用于存储API密钥
requirements.txt - 依赖包列表
Gemini_workflows/ - 预定义的工作流示例

节点分类体系

项目提供了两种类型的节点，满足不同的安全需求：

🔐 隐式API节点（推荐）

㊙️Gemini_Zho - 支持所有三种Gemini模型
㊙️Gemini_ImgURL_Zho - 支持图像URL输入
㊙️Gemini_Chat_Zho - 支持上下文对话

🔓 显式API节点

✨Gemini_API_Zho - 直接输入API密钥
✨Gemini_API_ImgURL_Zho - 图像URL输入版本
✨Gemini_API_Chat_Zho - 聊天机器人版本

🛠️ 自定义节点开发指南

基础节点结构

每个自定义节点都遵循ComfyUI的标准结构。以下是核心节点类的基本框架：

class Gemini_API_Zho:
    @classmethod
    def INPUT_TYPES(cls):
        return {
            "required": {
                "prompt": ("STRING", {"default": "What is the meaning of life?", "multiline": True}),
                "model_name": (["gemini-pro", "gemini-pro-vision", "gemini-1.5-pro-latest"],),
                "stream": ("BOOLEAN", {"default": False}),
                "api_key": ("STRING", {"default": ""})
            },
            "optional": {
                "image": ("IMAGE",),  
            }
        }
    
    RETURN_TYPES = ("STRING",)
    RETURN_NAMES = ("text",)
    FUNCTION = "generate_content"
    CATEGORY = "Zho模块组/✨Gemini"

API密钥管理策略

项目实现了灵活的API密钥管理机制：

隐式配置：通过config.json文件安全存储密钥
显式输入：直接在节点中输入API密钥（仅限个人使用）
自动加载：系统启动时自动读取配置文件

def get_gemini_api_key():
    try:
        config_path = os.path.join(p, 'config.json')
        with open(config_path, 'r') as f:  
            config = json.load(f)
        api_key = config["GEMINI_API_KEY"]
    except:
        print("出错啦 Error: API key is required")
        return ""
    return api_key

🔌 Gemini API集成详解

多模型支持

项目全面支持Google Gemini的三个核心模型：

Gemini-pro - 纯文本模型，适合文本生成任务
Gemini-pro-vision - 多模态模型，支持图像理解
Gemini-1.5-pro-latest - 最新版本，支持文件上传和系统指令

图像处理集成

项目实现了ComfyUI图像张量与PIL图像的转换：

def tensor_to_image(self, tensor):
    tensor = tensor.cpu()
    image_np = tensor.squeeze().mul(255).clamp(0, 255).byte().numpy()
    image = Image.fromarray(image_np, mode='RGB')
    return image

流式响应处理

支持流式传输和批量处理两种响应模式：

if stream:
    response = model.generate_content(prompt, stream=True)
    textoutput = "\n".join([chunk.text for chunk in response])
else:
    response = model.generate_content(prompt)
    textoutput = response.text

🎯 高级功能实现

聊天机器人节点

聊天机器人节点实现了上下文对话功能，支持多轮对话历史管理：

class Gemini_API_Chat_Zho:
    def __init__(self, api_key=None):
        self.api_key = api_key
        self.chat = None  # 初始化时，聊天实例为空
        if self.api_key is not None:
            genai.configure(api_key=self.api_key,transport='rest')
    
    def generate_chat(self, prompt, model_name, api_key):
        if not self.chat:
            model = genai.GenerativeModel(model_name)
            self.chat = model.start_chat(history=[])
        
        response = self.chat.send_message(prompt)
        textoutput = response.text
        chat_history = self.format_chat_history(self.chat)
        return (chat_history,)

系统指令支持

Gemini 1.5 Pro模型支持系统指令设置，可以定制AI的行为：

class Gemini_15P_API_S_Advance_Zho:
    def generate_content(self, prompt, system_instruction, model_name, stream, image=None):
        model = genai.GenerativeModel(model_name, system_instruction=system_instruction)
        # ... 内容生成逻辑

文件上传功能

支持多种文件格式的上传和处理：

class Gemini_FileUpload_API_S_Zho:
    def file_upload(self, file):
        if not self.api_key:
            raise ValueError("API key is required")
        your_file = genai.upload_file(file)
        return [your_file]

📁 工作流示例与应用场景

AI绘画提示词生成

项目提供了完整的AI绘画工作流，将Gemini与Stable Diffusion结合：

图像描述：使用Gemini-pro-vision分析图像内容
提示词优化：基于图像描述生成优化提示词
图像生成：将提示词传递给Stable Diffusion生成新图像

批量图像标注系统

利用Gemini的多模态能力，可以实现：

自动图像内容分析
批量标签生成
元数据提取和整理

聊天机器人集成

创建智能对话系统：

上下文感知的多轮对话
图像理解的聊天交互
个性化响应生成

🔧 开发最佳实践

错误处理与日志

项目中实现了完善的错误处理机制：

try:
    config_path = os.path.join(p, 'config.json')
    with open(config_path, 'r') as f:  
        config = json.load(f)
    api_key = config["GEMINI_API_KEY"]
except:
    print("出错啦 Error: API key is required")
    return ""

性能优化建议

缓存机制：对频繁使用的API响应进行缓存
批量处理：合并多个请求减少API调用次数
异步处理：使用异步IO提高并发性能
资源管理：及时释放图像和文件资源

安全注意事项

🔒 永远不要将包含API密钥的工作流分享给他人
🔑 使用环境变量或配置文件存储敏感信息
🛡️ 实现API调用频率限制
📊 监控API使用情况和费用

🚀 扩展开发指南

创建新的节点类型

要创建新的Gemini节点，可以遵循以下步骤：

继承基础结构：参考现有节点的类结构
定义输入输出：明确节点需要的参数和返回类型
实现核心逻辑：编写具体的API调用逻辑
注册节点：在NODE_CLASS_MAPPINGS中添加新节点
测试验证：在ComfyUI中测试节点功能

前端界面扩展

通过JavaScript扩展可以增强节点的用户体验：

app.registerExtension({
  name: "Comfy.GeminiAPINode",
  async beforeRegisterNodeDef(nodeType, nodeData, app) {
    if (nodeData.name === "DisplayText_Zho") {
      // 自定义UI逻辑
    }
  }
});