一、灵魂画手风格LoRA模型训练全流程

1.灵魂画手介绍

市场热度：抖音平台上灵魂画手类短视频非常火爆，案例视频获得23万点赞、9.2万转发

风格特征：具有手绘线稿风格，带有类似素描的质感，画面简洁生动

2.灵魂画手训练全流程

1）收集图片素材

素材要求：

成对收集：需要同时截取影视片段原画面和转绘后的灵魂画手风格画面

命名规范：两组图片必须一一对应命名（如001.png对应001.png）

数量建议：案例中使用450组配对图片进行训练

素材处理：

原图组：保持原始影视画面

目标组：去除水印/LOGO后转换为线稿风格

2）LoRA训练大师使用

模型选择

基础模型：选择QwenImageEdit2511作为基础模型

训练类型：根据需求选择特定风格的训练方法（案例选择2511版本）

素材导入

数据集创建：

新建"控制组"存放原图（450张）

新建"目标组"存放转绘效果图（450张）

标签设置：

目标组需统一打标："Remove watermarks, logos and text from the image and convert it into a rough line drawing"

模型配置

训练步数计算：最大训练轮数×素材数量（案例：30轮×100张=3000步）

分辨率设置：建议512×512像素，显存要求适中

过程采样

采样频率：每1轮和每1000步自动采样一次

采样设置：

需要输入完整图片路径（如使用003.png作为采样样本）

使用统一提示词（即打标内容）

显存优化

低显存模式：显存不足时可开启分块处理

优化建议：

调整交换块数（案例设为46）

启用FP8精度加速

训练执行

训练监控：

可实时查看采样结果（案例显示1000步即达到良好拟合）

自动保存按轮次和步数的模型输出

模型保存：训练完成后生成.safetensors格式模型文件

Loss曲线分析

监控指标：通过Loss曲线判断模型收敛情况

优化参考：案例中1000步后Loss值已趋于稳定

3）剪映视频制作

制作步骤：

导出需要转绘的静帧画面

在ComfyUI中使用训练好的LoRA模型处理图片

将转绘效果导回剪映时间线

添加音效、文字和特效

工作流配置：

加载训练好的QwenEdit2511_LHHS_V1模型

输入标准提示词生成转绘效果

4）成片效果展示

风格还原：成功复现抖音热门灵魂画手风格

应用扩展：该方法可适配不同风格的转绘需求

二、知识小结

分类	核心步骤	技术要点	工具/参数	示例数据
数据集准备	收集原图与转绘风格图	建立控制组与目标组	LoRA训练大师	0001.png原图/转绘图
数据标注	统一打标处理	标签规范化	"去除水印+线稿转换"	批量打标300张
模型训练	配置训练参数	显存优化设置	分辨率512/Qwen image edit 2511	1000步loss值0.12
效果验证	过程采样检查	Loss曲线监控	每1000步采样	第3轮采样效果达标
应用部署	模型导入comfyui	工作流配置	剪映+提示词	《功勋》转绘案例
视频合成	素材按序编排	音画同步	字幕/特效添加	"荷塘月色"背景音乐

可点击下方原文链接观看视频教程👇

https://comfyit.cn/blog/241/?invite_code=TSH