ComfyUI-Gemini高级技巧：系统指令设置与多轮对话配置指南

【免费下载链接】ComfyUI-Gemini Using Gemini in ComfyUI 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Gemini

ComfyUI-Gemini是一款强大的插件，它将Google Gemini AI模型无缝集成到ComfyUI中，为用户提供了在AI绘图工作流中利用先进语言模型的能力。通过本指南，您将学习如何设置系统指令以定制AI行为，并配置多轮对话以实现更连贯、更智能的交互体验。

一、准备工作：安装与API密钥配置

在开始高级配置之前，请确保您已正确安装ComfyUI-Gemini插件并配置了API密钥。

1.1 安装插件

通过以下命令克隆仓库并安装依赖：

git clone https://gitcode.com/gh_mirrors/co/ComfyUI-Gemini
cd ComfyUI-Gemini
pip install -r requirements.txt

1.2 配置API密钥

Gemini API密钥是使用插件的必要条件。您需要在Google AI Studio获取API密钥，然后将其配置到config.json文件中：

{
    "GEMINI_API_KEY": "your key"
}

二、系统指令设置：定制AI行为

系统指令（System Instruction）是一种强大的工具，它允许您在对话开始前为AI模型设定特定的角色、行为准则或任务目标。这对于引导AI生成符合特定需求的内容非常有用。

2.1 认识系统指令节点

ComfyUI-Gemini提供了专门的节点来支持系统指令设置：

• 🆕Gemini_15P_Advance_Zho：用于单次生成任务的高级节点，支持系统指令。
• 🆕Gemini_15P_Chat_Advance_Zho：用于多轮对话的高级节点，支持系统指令。

这些节点在ComfyUI的节点面板中位于 "Zho模块组/✨Gemini" 分类下。

2.2 设置系统指令的步骤

1. 添加节点：将 🆕Gemini_15P_Advance_Zho 或 🆕Gemini_15P_Chat_Advance_Zho 节点拖入工作流。
2. 配置系统指令：在节点的"system_instruction"输入框中，输入您希望AI遵循的指令。例如：

   你是一位专业的 Stable Diffusion 提示词工程师。请根据用户提供的图像描述，生成一个详细、富有创意且符合 Stable Diffusion 最佳实践的提示词。提示词应包含主体、风格、光照、构图等元素，字数控制在80词以内。
   

3. 连接其他节点：根据需要连接图像输入、文本输出等节点。

2.3 系统指令示例与应用场景

示例1：提示词生成专家

你是一位专业的 Stable Diffusion 提示词工程师。你的任务是根据用户提供的简单描述，生成详细、高质量的图像生成提示词。提示词应包含主体、风格、艺术家、光照、色彩、构图等元素，并使用恰当的权重调整。

示例2：创意写作助手

你是一位科幻小说作家。请根据用户提供的故事开头或想法，续写一段引人入胜的科幻故事。注意保持情节紧凑，人物形象鲜明，并融入独特的科幻元素。

三、多轮对话配置：实现连贯交互

多轮对话允许AI模型记住之前的对话历史，从而实现更自然、更连贯的交互。这对于需要上下文理解的任务至关重要。

3.1 多轮对话节点介绍

ComfyUI-Gemini提供了多个支持多轮对话的节点：

• ✨Gemini_API_Chat_Zho：基础聊天节点，需要手动输入API密钥。
• ㊙️Gemini_Chat_Zho：从配置文件读取API密钥的聊天节点。
• 🆕Gemini_15P_Chat_Advance_Zho：支持系统指令的高级聊天节点。

3.2 配置多轮对话工作流

以下是使用 ㊙️Gemini_Chat_Zho 节点配置多轮对话的基本步骤：

1. 添加聊天节点：将 ㊙️Gemini_Chat_Zho 节点拖入工作流。
2. 添加显示节点：添加 ✨DisplayText_Zho 节点以显示对话历史。
3. 连接节点：将聊天节点的"response"输出连接到显示节点的"text"输入。
4. 设置初始提示：在聊天节点的"prompt"输入框中，输入您的初始问题或指令。
5. 运行工作流：点击"Queue Prompt"运行工作流，查看AI的回应。
6. 继续对话：修改聊天节点的"prompt"输入框，输入后续问题，再次运行工作流。AI将基于之前的对话历史进行回应。

3.3 多轮对话工作流示例

您可以在项目的 Gemini_workflows 目录下找到预设的聊天工作流：Gemini-pro Chatbot【Zho】.json。这个工作流展示了如何使用 ㊙️Gemini_Chat_Zho 和 ✨DisplayText_Zho 节点构建一个简单的聊天机器人。

在这个工作流中，您可以看到对话历史的格式，每条消息都带有角色（"user"或"model"）和内容，并通过分隔线区分：

user: 解释一下AIGC
----------------------------------------
model: AIGC，全称“人工智能生成内容”（Artificial Intelligence Generated Content），是指计算机利用人工智能技术自动生成内容...
----------------------------------------

四、高级技巧与最佳实践

4.1 优化系统指令的技巧

• 明确角色：清晰地为AI定义角色，如"你是一位专业的图像描述专家"。
• 设定目标：明确说明AI需要完成的任务，如"生成符合Stable Diffusion的提示词"。
• 提供示例：如果可能，提供一个简短的示例，帮助AI理解您的需求。
• 控制输出：指定输出的格式、长度或风格，如"请用列表形式输出，不超过5点"。

4.2 管理对话历史

• 定期清理：对于长时间对话，考虑定期清理部分历史以避免上下文窗口溢出。
• 关键信息提取：使用 ✨ConcatText_Zho 节点将重要信息提取并保存，以便后续使用。
• 分支对话：尝试创建不同分支的对话，探索AI在不同上下文中的反应。

4.3 结合图像输入

Gemini模型支持图像输入，您可以在多轮对话中结合图像进行更丰富的交互：

1. 使用 ㊙️Gemini_ImgURL_Zho 节点通过URL加载图像。
2. 或使用支持图像输入的聊天节点，如 🆕Gemini_15P_Chat_Advance_Zho。
3. 在对话中提及图像内容，如"请描述这张图片的风格，并为其生成Stable Diffusion提示词"。

五、故障排除与常见问题

5.1 API密钥问题

如果遇到"API key is required"错误，请检查：

• config.json 文件是否存在且格式正确。
• API密钥是否正确填写在 config.json 中。
• 对于需要手动输入API密钥的节点（如 ✨Gemini_API_Chat_Zho），确保在节点的"api_key"输入框中填写了密钥。

5.2 对话历史不保存

如果AI似乎没有记住之前的对话，可能是因为：

• 您使用的是单次生成节点（如 ✨Gemini_API_Zho），而非聊天节点。
• 工作流在每次运行时都会重新初始化聊天节点，导致历史丢失。您可以尝试使用外部工具或节点来保存和加载对话历史。

5.3 系统指令不生效

如果系统指令没有被AI遵循，请检查：

• 您是否使用了支持系统指令的节点（如 🆕Gemini_15P_Advance_Zho 或 🆕Gemini_15P_Chat_Advance_Zho）。
• 系统指令的格式和内容是否清晰、明确。
• 尝试简化系统指令，避免过于复杂或模糊的表述。

通过掌握系统指令设置和多轮对话配置，您可以充分发挥ComfyUI-Gemini的强大功能，创建更智能、更个性化的AI绘图工作流。无论是生成精准的提示词，还是进行创意性的对话，这些高级技巧都能帮助您提升工作效率和创作质量。

【免费下载链接】ComfyUI-Gemini Using Gemini in ComfyUI 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Gemini