Stable Diffusion (SD) 介绍

(来自DeepSeek回答)

Stable Diffusion 是一种基于扩散模型(Diffusion Model)的生成式AI模型,主要用于文本到图像(Text-to-Image)的生成。它能够根据用户输入的文本提示(Prompt),生成高质量的图像。Stable Diffusion 的特点包括:

  • 开源:SD 是开源的,任何人都可以下载、使用和修改其代码。

  • 高质量图像生成:SD 能够生成细节丰富、风格多样的图像。

  • 本地运行:与 DALL·E 或 MidJourney 不同,SD 可以在本地硬件上运行,不需要依赖云服务。

  • 可定制性:用户可以通过调整参数、使用不同的模型权重或训练自己的模型来定制生成效果。

ComfyUI 介绍

(来自DeepSeek回答)

ComfyUI 是一个为 Stable Diffusion 设计的图形用户界面(GUI),旨在让用户更方便地使用和操作 Stable Diffusion 模型。它的特点包括:

  • 节点式操作:ComfyUI 采用节点式界面,用户可以通过拖拽和连接不同的节点来构建图像生成的工作流。

  • 高度可定制:用户可以根据需求自定义生成流程,例如调整模型参数、添加后处理步骤等。

  • 适合高级用户:ComfyUI 提供了更细粒度的控制,适合对 Stable Diffusion 有深入了解的用户。

  • 轻量级:ComfyUI 是一个轻量级的工具,运行效率高,适合本地部署。

ComfyUI 的目标是让用户能够更灵活地使用 Stable Diffusion,尤其是那些需要复杂工作流或自定义设置的用户。

Stable Diffusion 和 ComfyUI 的关系

(来自DeepSeek回答)

  • 核心与界面:Stable Diffusion 是生成图像的核心模型,而 ComfyUI 是为 SD 提供的一个用户界面,帮助用户更方便地使用 SD。

  • 互补关系:SD 提供了强大的生成能力,而 ComfyUI 则提供了更直观、灵活的操作方式。两者结合可以让用户更高效地生成图像。

  • 使用场景

    • 如果你只需要简单的文本到图像生成,可以直接使用 SD 的默认界面(如 WebUI)。

    • 如果你需要更复杂的操作(如多步骤生成、自定义工作流),ComfyUI 是更好的选择。

ComfyUI下载

ComfyUi下载方式这里有两种:

使用ComfyUI

安装

我这里使用的github下载的一键启动包,下载后解压到自己指定目录。目录结构如下:

目录中有一个文件:README_VERY_IMPORTANT.txt  (看文件名都知道文件内容很重要),我们打开看下:

HOW TO RUN:

# gpu模式启动
if you have a NVIDIA gpu:

run_nvidia_gpu.bat


# cpu模式启动
To run it in slow CPU mode:

run_cpu.bat


# 大模型下载后放的位置
IF YOU GET A RED ERROR IN THE UI MAKE SURE YOU HAVE A MODEL/CHECKPOINT IN: ComfyUI\models\checkpoints
# 哪里可以下载官方示例大模型
You can download the stable diffusion 1.5 one from: https://huggingface.co/Comfy-Org/stable-diffusion-v1-5-archive/blob/main/v1-5-pruned-emaonly-fp16.safetensors

# 如何更新你的ComfyUI
RECOMMENDED WAY TO UPDATE:
To update the ComfyUI code: update\update_comfyui.bat


# 更新ComfyUI的依赖
To update ComfyUI with the python dependencies, note that you should ONLY run this if you have issues with python dependencies.
update\update_comfyui_and_python_dependencies.bat

# 如果你之前有使用WebUI,如何复用之前的大模型
TO SHARE MODELS BETWEEN COMFYUI AND ANOTHER UI:
In the ComfyUI directory you will find a file: extra_model_paths.yaml.example
Rename this file to: extra_model_paths.yaml and edit it with your favorite text editor.

文件中有提到什么更新ComfyUi,启动ComfyUI的模式(可以cpu模式启动、gpu模式启动)、大模型下载后放的位置、如何复用之前使用WebUI已经下载的大模型。

启动

我们这里使用gpu的方式启动,本机有一块4GB的英伟达显卡,直接双击:run_nvidia_gpu.bat 即可。第一次启动会下载很多的依赖(需要魔法),启动成功之后访问地址:http://127.0.0.1:8188/你就可以看看到ComfyUI的操作界界面了(第一次进入ComfyUI系统会为你添加一个默认的基本文生图的工作流)。

下载SD大模型

第一次进入ComfyUI的操作界面,系统准备一个默认的工作流,但是支持文生图的大模型需要自己去下载。如果有你有详细看上面“安装”的步骤的话,有提到一个如何下载官网提供的一个实例模型(需要魔法):https://huggingface.co/Comfy-Org/stable-diffusion-v1-5-archive/blob/main/v1-5-pruned-emaonly-fp16.safetensors没有魔法的同学也不用捉急,我也准备了百度网盘地址:https://pan.baidu.com/s/1eKnm8BpaqIeiC85zdBZntQ?pwd=f4xc

文生图大模型下载之后,放到ComfyUI指定路径:ComfyUI\models\checkpoints。如下图:

使用ComfyUI

我们就可以在ComfyUI的操作界面上使用刚刚下载好的文生图大模型了:模型加载器 -> 选择合适的文生图模型 -> 输入提示词 -> 执行 -> 预览图片

可以看到,我们想要的一只猫已经生成了。其实这些案例在ComfyUI的官网已经有详细的解释了,包括了文生图、图生图、局部重绘、扩图、图像放大等等。地址:https://docs.comfy.org/zh-CN/tutorials/basic/text-to-image

其他

同学们可能还有其他的问题,比如:ComfyUI的工作流这么复杂我怎么学的会?我r䄦编排ComfyUI的工作流?我还想下载其他的文生图大模型该区哪里下载?我想文生视频怎么弄?等等

关于工作流阶段、编排的问题

推荐B站大神的教程:【2025最详细ComfyUI汉化版教程2.0】B站强推!建议所有想学ComfyUI的同学,死磕这条视频,2025年大佬花一周时间整理的ComfyUI保姆级教程_哔哩哔哩_bilibili

下载其他大模型哪里可以下载

  • 这里推荐的玩AI都应该知道的网站(需要魔法):https://huggingface.co/
  • 另外一个就是civitai(需要魔法),这里可以预览作者的们的作品,可以下载作品对应的模型、工作流

写在最后

大家一起学习,共勉

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐