
【双王组合】DeepSeek Janus-Pro模型如何在本地comfyUI中使用?
我觉得用来完全可以和 JoyCaption 媲美,而且可以提示词控制输出非常的自由,7B 的模型 16G 显存可用。但是目前有点不好的是节点没有自动卸载模型,会一直占用显存如果用来反推在用 FLux 生图是有些不方便的。为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了。
介绍
DeepSeek Janus-Pro 是 DeepSeeK 不久前出一个视觉模型,它统一了多模态理解和生成。
简单来说这个模型既可以识别理解图像又可以生成图片,非常的牛逼。这么厉害的模型肯定也要在 ComfyUI 中试试,已经有大佬在 ComfyUI 实现了,下面教大家怎么安装使用
**插件地址:**https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro?tab=readme-ov-file
大家在管理器搜索Janus-Pro 选择CY作者的插件进行安装
安装完我们还需要下载模型(文末可获取籽料包哦~)
- 在你的 ComfyUI 的 models 目录下创建 Janus-Pro 文件夹
- 从 Hugging Face 下载模型:
- **Janus-Pro-1B:**https://huggingface.co/deepseek-ai/Janus-Pro-1B
- **Janus-Pro-7B:**https://huggingface.co/deepseek-ai/Janus-Pro-7B
- 将模型解压到各自的文件夹中:
ComfyUI/models/Janus-Pro/Janus-Pro-1B/
ComfyUI/models/Janus-Pro/Janus-Pro-7B/
我这里选择是的 7B 的模型
我的文件夹结构:
我们先试试最简单的图片描述
不仅可以图片描述,还可以推理出图片的地理位置,还可以简单计算一些题目,还可以识别图片文字并且进行翻译,非常的厉害。
不过图片生成的画质就比较一般了,只能生成 384 分辨率的图片,甚至不如 sd1.5,而且需要很久才能生成一张图
总结
我觉得用来完全可以和 JoyCaption 媲美,而且可以提示词控制输出非常的自由,7B 的模型 16G 显存可用。但是目前有点不好的是节点没有自动卸载模型,会一直占用显存如果用来反推在用 FLux 生图是有些不方便的。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
更多推荐
所有评论(0)