最近,有小伙伴提出了一个很好的问题:Deepseek虽然能够辅助生成AI绘图的提示词,但是却没办法直接通过图片反推提示词。

别担心,今天我给大家带来一个“秘密武器”——Deepseek旗下的多模态图像AI模型Janus-Pro,它能帮我们通过图像生成提示词,而且还能和现在流行的FLUX大模型文生图强强联手,创造出令人惊叹的画面!

初探Janus-Pro:用图片反推提示词

首先,我们来了解一下Janus-Pro这个强大的多模态图像AI模型。它不仅能识别图像内容,还能生成描述性的提示词,这简直就是设计师的福音!接下来,我将手把手教你如何使用它。

搭建工作流:DeepSeek-Janus-Pro+comfyui本地部署

打开ComfyUI,这个界面是不是有点陌生?别担心,跟着我一步步来,你就能轻松上手。点击左侧的节点库,找到Janus-Pro节点。你会发现,这组节点一共只有三个:模型载入节点、图像识别节点和图像生成节点。鼠标左键长摁,把它们拖入工作区。

接下来,我们需要把节点连接起来。把模型载入节点和图像识别节点的模型接口与处理器接口分别连接起来。最后,拖拽添加一个展示文本节点。这样,一个简单的图像识别功能工作流就搭建完成了!是不是很简单?

测试图像识别功能

好,现在我们来测试一下这个多模态图像识别功能。按住Ctrl键圈选图像生成和保存图像节点,然后按下Ctrl+B,屏蔽这两个节点。接下来,通过加载图像节点上传一张图片。我从网上找了一张哪吒的海报,原图清晰度比较低,画面元素也比较丰富,正好用来测试一下。

在图像识别节点的文本框中输入你的问题。这里没有固定的格式,你可以根据自己的需求提出问题。

比如,我的问题是:“图像中是什么内容?什么风格?角色占画面的比例是多少?描述你看到的所有内容,写一段适合文生图的AI绘画提示词。”

图像模型选择7B版本的,这个版本比1B的模型要强大得多,识别效果也会更好。

运行工作流,看看它给出的回答。

它成功识别出了图片的内容和风格,虽然没有直接输出标准的AI绘画提示词,但已经给出了很多有用的信息。

如果你觉得结果不够理想,可以换个问法,多问几次。然后,把需要的内容复制粘贴下来,进行二次加工。记住,AI只是一个辅助工具,它的回答可以作为参考,帮助我们更好地生成提示词。

Janus-Pro的潜力

虽然Janus-Pro的AI生图功能还处于初级阶段,生成的图片分辨率不够高,画面效果也比较一般,但它的多模态理解能力已经非常不错了。有了这个基础,我相信它的未来一定会更加出色!目前,用它来反推提示词,绝对是最佳选择。

强强联手:用FLUX文生图实现创意

接下来,我们用刚才生成的提示词,结合FLUX文生图,看看能创造出什么样的效果。FLUX是一个非常强大的文生图模型,它的资源占用虽然比较大,但生成的图片质量是真的高!

搭建FLUX文生图工作流

回到ComfyUI,我们开始搭建FLUX文生图的工作流。在大模型这里,我使用了fp8量化模型。因为要接入多个Lora,这里使用了Lora堆节点。每个Lora前面都有一个开关控制,非常方便。

我一共用了三个Lora模型:一个是哪吒的角色造型,一个是龙的角色造型,还有一个是风格化水墨效果的Lora。为什么选择这些Lora呢?因为文生图并不是追求和原图一模一样,而是通过Lora模型的选择,来影响出图的风格。不同的Lora组合,会带来完全不同的视觉效果。

在文本输入节点,我转接了一个翻译文本节点。这样,我们就可以直接把刚才生成的中文提示词粘贴上去,非常方便。注意,在提示词前面增加的几个英文单词,是这些Lora模型的触发词。其他的参数不用修改,直接运行就可以了。

见证奇迹的时刻

点击运行,耐心等待一会儿。哇哦!FLUX生成的图片效果真是太棒了!即使画面中的人物占比很小,细节依然非常丰富。有了Janus-Pro的加持,FLUX文生图的可玩性瞬间提升了一个档次!

你可以尝试不同的Lora组合,或者调整提示词的内容,每次都会带来意想不到的效果。这就是AI设计的魅力所在——它能激发你的无限创意,让你的作品更加独特。

延伸案例:从图片反推到文生图

现在,让我们通过一个完整的实战案例,来复盘一下Janus-Pro和FLUX文生图的流程:

(一)选择图片

从网上找一张你喜欢的图片,比如一张动漫角色的海报,或者一张风景照片。这张图片将成为我们反推提示词的基础。记住,图片的清晰度和内容丰富度会影响最终的生成效果。

(二)反推提示词

打开ComfyUI,搭建好Janus-Pro的图像识别工作流。上传图片后,输入你的问题。比如:“描述这张图片的风格、主题和主要元素,生成一段适合文生图的AI绘画提示词。”运行后,根据Janus-Pro的回答,提取关键信息,整理成一段完整的提示词。

(三)文生图创作

将整理好的提示词复制到FLUX文生图的工作流中。根据你的需求,选择合适的Lora模型和触发词。点击运行,等待FLUX生成图片。你可以多次调整提示词或Lora组合,直到生成满意的图片为止。

(四)优化与调整

如果你对生成的图片效果不满意,可以回到Janus-Pro,重新调整问题,或者在FLUX中修改提示词和Lora组合。AI设计就是一个不断尝试和优化的过程,每一次调整都可能带来惊喜。

拓展应用:更多创意玩法

除了反推提示词和文生图,Janus-Pro和FLUX的组合还能带来更多的创意玩法。比如:

风格转换

你可以通过调整Lora模型,将一张图片的风格从写实转换为卡通,或者从现代风格转换为复古风格。不同的Lora组合,会带来完全不同的视觉效果。

角色设计

如果你是一名角色设计师,可以用Janus-Pro反推角色的特征,然后用FLUX生成不同姿势和场景的角色图。这样,你就能快速探索不同的设计方向,找到最满意的设计方案。

场景创作

上传一张场景图片,让Janus-Pro生成描述场景的提示词,然后用FLUX生成全新的场景图。你可以添加不同的角色、道具或光影效果,创造出一个独一无二的虚拟世界。

本期教程中使用的工作流我已经打包上传网盘了,有兴趣的小伙伴可以下载学习使用。

「Janus-Pro反推工作流」
请添加图片描述

好了,今天的教程到这里就结束了。通过Janus-Pro和FLUX的强强联手,我们不仅实现了从图片反推提示词,还通过文生图创造了令人惊叹的效果。虽然Janus-Pro的生图功能还处于初级阶段,但它的多模态理解能力已经为未来的发展奠定了坚实的基础。

写在最后

常用工作流已经给各位小伙伴打包好了,可以按需自取,无偿分享。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

请添加图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

请添加图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐