Qwen3-4B模型与ComfyUI工作流结合：可视化AI绘画提示词生成

本文介绍了如何利用星图GPU平台，自动化部署Qwen3-4B-Thinking-2507-GPT-5-Codex-Distill-GGUF镜像，构建一个智能AI绘画助手。该方案的核心是将大语言模型与ComfyUI可视化工作流结合，用户只需用自然语言描述画面，系统即可自动生成结构化的高质量绘画提示词，显著降低了AI绘画的门槛并提升了创作效率。

君子心理

21人浏览 · 2026-03-30 06:22:51

君子心理 · 2026-03-30 06:22:51 发布

Qwen3-4B模型与ComfyUI工作流结合：可视化AI绘画提示词生成

你有没有过这样的经历？脑子里有一个特别酷的画面，比如“一座漂浮在星空中的蒸汽朋克城堡”，但当你打开AI绘画工具，面对那个空白的提示词输入框时，却不知道从何下手。是写“steampunk castle”还是“floating in the starry sky”？要不要加上艺术家风格？构图参数怎么设置？结果往往试了半天，生成的图片和想象中的差了十万八千里。

这就是很多AI绘画新手，甚至是一些有经验的玩家都会遇到的“提示词困境”。想法很丰满，但表达出来却很骨感。今天，我想跟你分享一个特别有意思的玩法：让一个擅长理解语言的大模型（Qwen3-4B），和一个强大的可视化AI绘画工具（ComfyUI）联手，帮你把脑子里那些天马行空的想法，直接变成一张张精美的画作。

简单来说，就是你用自然语言描述你想要的画面，Qwen3-4B模型负责理解你的意图，并把它“翻译”成AI绘画引擎能听懂的、详细的结构化提示词，甚至直接生成ComfyUI能一键加载的工作流文件。这就像你身边多了一个既懂艺术又懂技术的创作助手，大大降低了从想法到作品的门槛。

1. 为什么需要大模型来生成提示词？

在深入具体操作之前，我们先聊聊为什么这件事值得做。你可能用过Stable Diffusion的WebUI，或者Midjourney，直接输入关键词就能出图。但要想获得高质量、符合预期的结果，提示词（Prompt）的编写本身就是一门学问。

传统写提示词的痛点：

描述不精确：“一座城堡”和“一座高耸的、带有齿轮与黄铜管道、闪烁着微弱煤气灯光的哥特式城堡”出来的效果截然不同。
缺乏结构化：好的提示词需要合理安排主体、细节、风格、构图、画质等元素的权重和顺序。自己摸索很费时间。
艺术知识门槛：你知道想要“赛博朋克”风格，但可能不知道搭配“霓虹光影”、“雨夜街道”、“未来主义建筑”这些关键词会更出彩；或者你想模仿某位画家的风格，却记不住他的名字。
与工作流脱节：在ComfyUI中，提示词只是节点的一个输入。高级玩法涉及多个模型的协同、各种处理器的参数调整，单纯靠文字提示词难以实现复杂控制。

而Qwen3-4B这类大语言模型，恰好擅长理解和生成复杂的结构化文本。它可以将你的一句口语化描述，拆解、补充、优化成一份专业的“绘画需求说明书”。

2. 核心思路：从想法到工作流的自动化桥梁

这个方案的魅力不在于用了多么高深的技术，而在于它用简单的逻辑，巧妙地连接了两个强大的工具，形成了一个流畅的创作管道。

2.1 角色分工

想象一下这个工作流程：

你（创意提出者）：负责提供最初的灵感火花。用最舒服、最直白的语言说出你想要什么。比如：“帮我画一个在竹林里练剑的武侠少女，要有水墨画的感觉，背景有点朦胧细雨。”
Qwen3-4B（创意翻译官与架构师）：它的任务很关键。
- 理解：解析你的自然语言描述，抓住核心主体（武侠少女）、动作（练剑）、场景（竹林）、风格（水墨画）、氛围（朦胧细雨）。
- 丰富：自动补充相关细节。比如“水墨画”可能会关联到“中国风”、“笔触”、“留白”；“武侠少女”可能会加上“劲装”、“发带”、“专注的神情”。
- 结构化：将以上信息组织成标准的Stable Diffusion提示词格式，包括正面提示词（Positive Prompt）和负面提示词（Negative Prompt）。正面提示词详细描述画面，负面提示词用于规避常见问题如“多手指”、“画面模糊”等。
- 参数化：甚至可以推断出一些基础参数，比如建议采用“DPM++ 2M Karras”采样器，步骤数20-30，这对于新手来说是个不错的起点。
- 生成工作流（进阶）：直接输出一个ComfyUI工作流的JSON配置文件。这个文件里已经预设好了常用的节点，如加载模型（Checkpoint）、CLIP文本编码器、K采样器、VAE解码器等，并且把你生成的提示词填入了对应位置。
ComfyUI（终极执行画师）：接收这份“详细工单”。如果你使用基础版，就手动复制提示词到文本节点；如果使用进阶版，直接导入JSON工作流文件。然后，它调用Stable Diffusion模型，一丝不苟地执行生成任务，最终将你的想法渲染成图像。

2.2 带来的好处

降低入门门槛：用户无需记忆复杂的提示词语法和艺术家名称，用说人话的方式就能开始创作。
提高创作效率：省去了反复调试、拼接关键词的时间，快速获得初步成果，之后可以在此基础上微调。
激发创作灵感：大模型可能会提供一些你没想到但很契合的关键词组合，打开新的思路。
标准化输出：生成的结构化提示词或工作流，易于分享、复用和迭代，方便团队协作。
打通工作流：直接生成JSON文件，让ComfyUI的复杂节点编排变得自动化，使得高级工作流的应用更加平民化。

3. 动手实践：搭建你的智能提示词生成器

理论说得再多，不如亲手试试。下面我们分两步走：先实现核心的提示词生成功能，再探索如何升级到自动生成ComfyUI工作流。

3.1 基础版：使用Qwen3-4B生成结构化提示词

首先，你需要一个能运行Qwen3-4B模型的环境。这里假设你已经在本地或云端部署好了Qwen3-4B的推理API服务（例如通过Ollama、vLLM或直接使用其提供的API）。

核心是设计一个给大模型的“指令”（Prompt），让它按照我们的要求输出。这个指令需要清晰明确。

示例指令设计：

你是一个专业的AI绘画提示词工程师。请根据用户的简短描述，生成一份详细、高质量的Stable Diffusion提示词。
请遵循以下格式输出：

**正面提示词：**
[在这里生成详细的正面提示词。要求：包含画面主体、细节描述、环境氛围、艺术风格、参考艺术家（可选）、画质关键词等。使用英文逗号分隔。]

**负面提示词：**
[在这里生成通用的负面提示词，用于避免常见缺陷。如：low quality, worst quality, bad anatomy, extra fingers, blurry等。]

**建议参数（可选）：**
- 采样器(Sampler): DPM++ 2M Karras
- 迭代步数(Steps): 28
- 提示词相关性(CFG Scale): 7.5

现在，请为以下描述生成提示词：
用户描述：“一座漂浮在星空中的蒸汽朋克城堡，城堡上有巨大的齿轮和发光的管道，远处有星云。”

将这段指令和你的描述一起发送给Qwen3-4B模型。一个可能的回复如下：

**正面提示词：**
A majestic steampunk castle floating amidst a vibrant nebula in outer space, intricate details, giant cogwheels and gears rotating slowly, glowing copper pipes and tubes emitting soft light, brass and iron architecture, castle towers with observatory domes, starry sky background with colorful nebula clouds, sparkling stars, sci-fi fantasy, epic scale, dramatic lighting, by James Gurney and Simon Stalenhag, trending on ArtStation, 8k, ultra detailed, cinematic, unreal engine 5.

**负面提示词：**
low quality, worst quality, bad anatomy, extra fingers, missing fingers, extra limbs, missing limbs, fused fingers, too many fingers, cloned face, deformed, ugly, disfigured, mutation, mutated, blurry, watermark, signature, text, username, error.

**建议参数（可选）：**
- 采样器(Sampler): DPM++ 2M Karras
- 迭代步数(Steps): 28
- 提示词相关性(CFG Scale): 7.5

拿到这个结果后，你就可以手动将“正面提示词”和“负面提示词”的内容，分别复制到ComfyUI的CLIP Text Encode (Prompt)和CLIP Text Encode (Negative Prompt)节点中，其他参数按建议设置，然后运行生成。

3.2 进阶版：生成可导入的ComfyUI工作流JSON

这听起来更酷，实现起来其实是在上一步的基础上再加一层“翻译”。我们需要让Qwen3-4B不仅生成提示词文本，还要按照ComfyUI工作流JSON的特定格式来组织输出。

ComfyUI的工作流本质上是一个包含大量节点及其连接关系的JSON文件。我们可以预先准备一个最简单的、可运行的基础工作流模板（只包含加载模型、编码文本、采样、解码、保存图片等必要节点），然后将这个模板的结构和需要替换的部分（主要是提示词文本）告诉大模型。

进阶指令设计思路：

提供模板：在指令中，给出一个简化版的工作流JSON片段，其中用占位符（如{positive_prompt}和{negative_prompt}）表示需要填充的位置。
明确任务：要求模型先生成详细的正面和负面提示词，然后用它们替换掉模板中的占位符，输出完整的JSON。
指定格式：严格要求模型输出纯JSON格式，方便直接复制使用。

由于完整的ComfyUI工作流JSON较长，这里展示一个极度简化的概念示例。实际操作中，你需要提供一个真实可用的基础模板。

# 这是一个概念性的Python代码示例，展示如何构造请求
import json

# 1. 定义一个最简单的ComfyUI工作流模板字符串，包含占位符
workflow_template = """
{
  "last_node_id": 10,
  "last_link_id": 9,
  "nodes": [
    {
      "id": 1,
      "type": "CheckpointLoaderSimple",
      "widgets_values": ["v1-5-pruned-emaonly.safetensors"]
    },
    {
      "id": 6,
      "type": "CLIPTextEncode",
      "widgets_values": ["{positive_prompt}"] // 正面提示词占位符
    },
    {
      "id": 7,
      "type": "CLIPTextEncode",
      "widgets_values": ["{negative_prompt}"] // 负面提示词占位符
    },
    // ... 其他节点（K采样器、VAE解码器、保存图像等）
  ],
  "links": [
    // ... 节点连接关系
  ]
}
"""

# 2. 构建给Qwen3-4B的提示
system_prompt = """你是一个ComfyUI工作流生成专家。请根据用户描述，完成以下任务：
1. 生成详细、高质量的正面和负面AI绘画提示词。
2. 将生成的提示词填入下面提供的JSON模板的对应占位符中。
3. 输出完整的、格式正确的JSON，且仅输出JSON，不要有任何额外解释。

JSON模板：
""" + workflow_template + """

用户描述："""
user_input = “一座漂浮在星空中的蒸汽朋克城堡，城堡上有巨大的齿轮和发光的管道，远处有星云。”

# 3. 将组合后的提示发送给Qwen3-4B API
# ... (调用API的代码)
# 4. 假设 `response` 是API返回的纯JSON字符串
generated_workflow_json = response

# 5. 保存为文件，即可被ComfyUI加载
with open('generated_workflow.json', 'w') as f:
    json.dump(json.loads(generated_workflow_json), f, indent=2)
print("工作流文件已生成：generated_workflow.json")

运行后，你会得到一个generated_workflow.json文件。在ComfyUI界面中，点击“Load”按钮，选择这个文件，一个预设好提示词和基础节点的工作流就加载好了，点击“Queue Prompt”就能立即生成图片。