大家好我是AIGC阿道夫

【closerAI ComfyUI】deepseek janus加上flux强强联合,高效生图,让想法更好地呈现,推荐学习!

最近一个月deepseek是火热般的存大,几乎全渠道无人不知,所以这期不是关于deepseek的本地部署,本地能部署的deepseek大语言模型都是玩玩的,要真正发挥它的价值老实点使用大平台部署的满血版或直接在官方上的,这期我们一起关注和体验deepseek最近推出的统一的多模态理解和视觉生成模型——janus pro。目前已有comfyUI版本。

DeepSeek Janus Pro

DeepSeek Janus Pro 是一款开源的多模态模型,能够在 ComfyUI 中实现图像理解和生成。可以同时进行多模态理解和图像生成任务。它共有2个参数量版本,Janus-Pro-1B 及 Janus-Pro-7B。

以下是相关链接:

官方仓库:https://github.com/deepseek-ai/Janus

comfyUI实现:https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

图片

特点:

  1. **理解与生成一体化:**Janus Pro 是业界首个理解-生成一体化架构的大模型,能够同时进行图像理解和生成,大大降低了部署成本。
  2. **多语言支持:**该模型支持多种语言的输入和输出,包括中文、英文、日语等,用户可以根据需要在提示词中指定特定语言。
  3. **强大的反推能力:**在图像反推(即从图像生成描述)方面表现出色,能够准确地理解图像内容并生成相应的描述。

所以,janus在图像理解方面能力很强,但目前生成图像分辨率太低,根本无法入眼,所以我们可以充分利用它图像理解的能力来实现提示词生成。1B版本我测试过,是很高效,效果也不错。是comfyUI中使用大语言模型的最优替代方案。

comfyUI DeepSeek Janus Pro

安装与体验

图片

安装 ComfyUI-Janus-Pro 插件

要在 ComfyUI 中使用 DeepSeek Janus Pro,首先需要安装 ComfyUI-Janus-Pro 插件。

安装方法如下:

通过 ComfyUI Manager 安装(推荐):安装 ComfyUI-Manager 后,在管理器中搜索 “Janus-Pro”,点击安装即可。

手动安装:将 ComfyUI-Janus-Pro 插件的仓库克隆到 ComfyUI 的 custom_nodes 文件夹中,然后安装相关依赖。地址如下,可手动下载:

打开地址:https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

下载节点,解压放置comfyUI节点文件夹中

图片

安装依赖:

# 如果你使用ComfyUI便携版

cd ComfyUI-Janus-Pro

…\python_embeded\python.exe -m pip install -r requirements.txt

# 如果你使用自己的Python环境

cd ComfyUI-Janus-Pro

path\to\your\python.exe -m pip install -r requirements.txt

这里说说我的安装心得,大家少踩坑,直接在ComfyUI-Janus-Pro文件目录中,右键打开终端。然后输入命令:pip install -r requirements.txt

图片

执行完,重启comfyUI后,大概率是还会提示错误的,为什么?因为你要下载janus下载来。

https://github.com/deepseek-ai/Janus

下载后解压放到ComfyUI-Janus-Pro节点文件夹中。如下图示:

图片

然后再执行pip install -r requirements.txt 。基本就可以了。

ComfyUI-Janus-Pro 体验

拖入我们closerAi开发的closerAI janus+flxu生图工作流

图片

工作流主要利用了janus的问答与理解能力。

图片

主要用它完成提示词的生成。为什么不用别的?别的LLM加载过程太慢,像我的4060ti 8G 显卡,很吃力,基本没有显存再往下执行flux生图了。

但是,janus pro 解决了这个问题,既能理解图像,同时又有语义能力。所以非常适合生成提示词。

如下图示:哪吒的图片,以前的LLM或者反推模型是直接将图片中所有内容描述出来。当然这很好,但是呢,有时候在生产图片时,我们仅仅是想要图片中的局部描述。像以下例子,我让janus pro,仅描述图像中人物的服装与姿势。

图片

图片

你的任务是描述图片中的衣服和人物姿势的细节并将反推出来的服装和人物姿势描述用在以下提示词中:“一个中国22岁美女{衣服的描述},姿势是{姿势的描述}”

然后它返回结果是:

“一位22岁的中国美女穿着一件设计复杂的传统服装,包括一件红棕色的汉服,上面有金色的口音和花卉图案,以及一个用红色丝带装饰的配套头饰。她自信地站着,散发着优雅和文化底蕴。她的服装是由匹配的黄金手镯和华丽的脚踝带悬垂补充。角色的俏皮表情,带着灿烂的笑容和微微扬起的眉毛,为场景增添了一种动态和活泼的存在感。 POESTING是一种自信和前倾的姿势,她的手臂伸展,手掌朝上,微微分开,好像她要表演一个动作或舞蹈。她的脚被放置在岩石地形上,火焰吞没了她下面的岩石,创造了一个戏剧性和神秘的气氛。”

它成功地将衣服和姿势,应用到新的人物当中,形成新的提示词。

我们先看janus生图结果:

图片

janus生图真是惊吓。

然后我通过这个结果,接入到flux生图中。

得出了以下flxu生图结果:

图片

图片

图片

图片

当然,我这里用到的janus pro 是 1B的版本。毕竟我显存才8G,如果运行7B版本,需要至少16G显存。大家根据情况来下载。模型我已打包好放我们会员模型库中,会员自行提取。

我们closerAI开发的这个工作流,主要应用janus图像理解形成新的提示词,然后接入flux生图。这样,就高效解决了自动提示词部分。这种能力应该是之前的大模型不具备的能力,但janus pro虽然生图能力不强,但理解和文本生成能力强。充分利用,高效输出!这才是AI作为工具带来的赋能吧。

**以上是janus pro 的介绍、安装、体验以及closerAI团队制作的stable diffusion comfyUI closerAI开发的*closerAI janus+flxu生图工作流*工作流介绍,大家可以根据工作流思路进行尝试搭建。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

请添加图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

请添加图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐