
Dify+ollama+deepseek离网环境下Dify部署及本地模型接入Dify0.15.3
离网环境:Ubuntu GPU服务器;有网环境:Windows10(我的本机电脑)最近踩坑下来,一是觉得有时候要相信自己的直觉,想到一个点就尝试一下,可能你想的点就是问题的关键(本次实践证明了哈哈哈)。二是要相信相信的力量!相信自己能搞定O(∩_∩)O哈哈~
提示:尝试了Dify0.15.5版本,本地有网环境部署成功了,打包镜像到离网环境后导入镜像时部分镜像报错无法导入。工作推进原因(卑微牛马人,一身反骨也得低头)果断换了0.15.3版本进行部署,一开始也出现了镜像导入失败的情况。聪明如我,对比了失败的镜像发现和成功部署的1.0版本中的镜像名及版本一致,于是失败部分镜像用了1.0版本中的来替代;还别说成功安装插件了,但是吧,很多时候聪明反被聪明误!!这下插件成功了,但识别不到我的账户,还不能打开账户初始化页面,得,又白干!后面隐约觉得是不是因为我本地有网环境测试时,很多配置已经改变了,而且本地的Dify服务在启动的情况下是不是会影响镜像打包质量,于是乎,我又果断删除有网和离网环境中的0.15.3项目,重新解压,直接拉取镜像并打包,不在有网环境有一丝停留(有网环境成功过,诱惑很大)!忐忑在离网环境导入镜像,成功了!果然人要相信自己的直觉!!
前言
离网环境:Ubuntu GPU服务器;有网环境:Windows10(我的本机电脑)
一、项目下载
搜索Dify项目,下载对应低版本(友情提示:使用魔法),我下载的0.15.5和0.15.3,本篇主要记录成功部署接入deepseek的0.15.3版本项目
。
项目地址:https://github.com/langgenius/dify
二、有网环境操作(关键)
有网环境下解压项目,命令行进入docker目录,直接拉取镜像后打包镜像
,关键点在于不要在有网环境部署及测试,直接打包镜像上离线服务器部署!
具体镜像拉取及打包和Dify1.0+的一致,由于电脑重启了,命令行记录没有了,没有相关截图,以下我直接放命令,要看图文的可以参考上一篇Dify1.1.3版本打包方式,完全一致的。
1.注意的点
①记得打开docker,才能使用docker相关命令,报错误可以执行docker login
试试,很可能是没登录。②参考上一篇拉取镜像,只复制前面的命令
,不要复制后面备注哈。③记得上传整个项目
,而不是只上传镜像包。
# 镜像拉取
docker-compose pull
# 查看镜像
docker iamges
# 镜像打包
# 例:docker save -o dify-images.tar langgenius/dify-api:1.1.3 langgenius/dify-api:1.1.3 langgenius/dify-web:1.1.3 postgres:15-alpine redis:6-alpine langgenius/dify-sandbox:0.2.11 langgenius/dify-plugin-daemon:0.0.6-local ubuntu/squid:latest semitechnologies/weaviate:1.19.0 nginx:latest
docker save -o 镜像包名.tar 镜像名:版本
用WinSCP
上传到离线服务器上,直接拖即可。(就不放图了)
三、离网环境操作
进入项目的docker目录,使用命令docker load -i XXX.tar
将镜像导入docker,使用docker iamges
验证镜像是否导入成功,0.15.3版本一共是8个镜像,比1.1.3版本少一个插件包的镜像,以下截图中多出的webui是我的其他镜像,各位大大不用管它。(没有在有网环境做部署测试,镜像成功导入了,没有报以下错了:open /var/lib/docker/tmp/docker-import-1460826280/blobs/sha256/afbf3abf6aebfb3abfea8826d7cf31971664716a8793c59c70475545d4161f36: no such file or directory
;这个错当时找了一个参考方案,但没解决我的问题,可能只是对我没用,链接放这里了:docker导入镜像报错)
# 镜像导入
docker load -i dify-images.tar
# 验证镜像
docker iamges
启动服务
启动容器docker-compose up -d
或docker compose up -d
,具体用哪个要看你的服务器上docker、Docker Compose版本,可以都试一下。
# 启动服务
docker-compose up -d
# 验证容器启动状态
docker ps
访问服务
访问http://ip:80
(默认的是80端口,以上容器状态查看时可以看端口),成功了!这时候直接在设置->模型供应商
处往下拉,找到你要的模型,我的是ollama,0.15.3版本是集成了的,鼠标放上面点击添加模型
就可以了(一开始没注意,看到模型列表没有,就以为失败了,以为没插件,结果鼠标放上去没有安装和详情
按钮,直接是添加模型
,说明确实内置了ollama),添加后会立马显示在以下模型列表
中,但是系统模型设置哪里还是会显示no model,但是没关系,我点了一下保存,刷新一下页面,再点系统模型设置,它就有了!至此Dify部署、本地模型接入成功,感动o(╥﹏╥)o!后面有时间再看看0.15.5版本是不是也是本地部署测试了导致的镜像导入失败,后面要开始研究自己本地知识库接入了,等我实践完来记坑。
AI问答测试
总结
最近踩坑下来,一是觉得有时候要相信自己的直觉,想到一个点就尝试一下,可能你想的点就是问题的关键(本次实践证明了哈哈哈)。二是要相信相信的力量!相信自己能搞定O(∩_∩)O哈哈~
更多推荐
所有评论(0)