最近一个月deepseek是火热般的存大,几乎全渠道无人不知,所以这期不是关于deepseek的本地部署,本地能部署的deepseek大语言模型都是玩玩的,要真正发挥它的价值老实点使用大平台部署的满血版或直接在官方上的,这期我们一起关注和体验deepseek最近推出的统一的多模态理解和视觉生成模型——janus pro。目前已有comfyUI版本。

DeepSeek Janus Pro

DeepSeek Janus Pro 是一款开源的多模态模型,能够在 ComfyUI 中实现图像理解和生成。可以同时进行多模态理解和图像生成任务。它共有2个参数量版本,Janus-Pro-1B 及 Janus-Pro-7B。

以下是相关链接:

官方仓库:https://github.com/deepseek-ai/Janus

comfyUI实现:https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

img

特点:

  1. **理解与生成一体化:**Janus Pro 是业界首个理解-生成一体化架构的大模型,能够同时进行图像理解和生成,大大降低了部署成本。
  2. **多语言支持:**该模型支持多种语言的输入和输出,包括中文、英文、日语等,用户可以根据需要在提示词中指定特定语言。
  3. **强大的反推能力:**在图像反推(即从图像生成描述)方面表现出色,能够准确地理解图像内容并生成相应的描述。

所以,janus在图像理解方面能力很强,但目前生成图像分辨率太低,根本无法入眼,所以我们可以充分利用它图像理解的能力来实现提示词生成。1B版本我测试过,是很高效,效果也不错。是comfyUI中使用大语言模型的最优替代方案。

comfyUI DeepSeek Janus Pro

安装与体验

img

安装 ComfyUI-Janus-Pro 插件

要在 ComfyUI 中使用 DeepSeek Janus Pro,首先需要安装 ComfyUI-Janus-Pro 插件。

安装方法如下:

通过 ComfyUI Manager 安装(推荐):安装 ComfyUI-Manager 后,在管理器中搜索 “Janus-Pro”,点击安装即可。

手动安装:将 ComfyUI-Janus-Pro 插件的仓库克隆到 ComfyUI 的 custom_nodes 文件夹中,然后安装相关依赖。地址如下,可手动下载:

打开地址:https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

下载节点,解压放置comfyUI节点文件夹中

img

安装依赖:

# 如果你使用ComfyUI便携版

cd ComfyUI-Janus-Pro

…\python_embeded\python.exe -m pip install -r requirements.txt

# 如果你使用自己的Python环境

cd ComfyUI-Janus-Pro

path\to\your\python.exe -m pip install -r requirements.txt

这里说说我的安装心得,大家少踩坑,直接在ComfyUI-Janus-Pro文件目录中,右键打开终端。然后输入命令:pip install -r requirements.txt

img

执行完,重启comfyUI后,大概率是还会提示错误的,为什么?因为你要下载janus下载来。

https://github.com/deepseek-ai/Janus

下载后解压放到ComfyUI-Janus-Pro节点文件夹中。如下图示:

img

然后再执行pip install -r requirements.txt 。基本就可以了。

ComfyUI-Janus-Pro 体验

拖入我们closerAi开发的closerAI janus+flxu生图工作流

img

工作流主要利用了janus的问答与理解能力。

img

主要用它完成提示词的生成。为什么不用别的?别的LLM加载过程太慢,像我的4060ti 8G 显卡,很吃力,基本没有显存再往下执行flux生图了。

但是,janus pro 解决了这个问题,既能理解图像,同时又有语义能力。所以非常适合生成提示词。

如下图示:哪吒的图片,以前的LLM或者反推模型是直接将图片中所有内容描述出来。当然这很好,但是呢,有时候在生产图片时,我们仅仅是想要图片中的局部描述。像以下例子,我让janus pro,仅描述图像中人物的服装与姿势。

img

img

你的任务是描述图片中的衣服和人物姿势的细节并将反推出来的服装和人物姿势描述用在以下提示词中:“一个中国22岁美女{衣服的描述},姿势是{姿势的描述}”

然后它返回结果是:

“一位22岁的中国美女穿着一件设计复杂的传统服装,包括一件红棕色的汉服,上面有金色的口音和花卉图案,以及一个用红色丝带装饰的配套头饰。她自信地站着,散发着优雅和文化底蕴。她的服装是由匹配的黄金手镯和华丽的脚踝带悬垂补充。角色的俏皮表情,带着灿烂的笑容和微微扬起的眉毛,为场景增添了一种动态和活泼的存在感。 POESTING是一种自信和前倾的姿势,她的手臂伸展,手掌朝上,微微分开,好像她要表演一个动作或舞蹈。她的脚被放置在岩石地形上,火焰吞没了她下面的岩石,创造了一个戏剧性和神秘的气氛。”

它成功地将衣服和姿势,应用到新的人物当中,形成新的提示词。

我们先看janus生图结果:

img

janus生图真是惊吓。

然后我通过这个结果,接入到flux生图中。

得出了以下flxu生图结果:

img

img

img

img

当然,我这里用到的janus pro 是 1B的版本。毕竟我显存才8G,如果运行7B版本,需要至少16G显存。大家根据情况来下载。

为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

img

在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐