ubuntu系统docker 部署本地deepseek知识库
进入目录 /data,运行命令,这里指定了版本1.1.0,不指定版本,把命令 --branch 1.1.0 去掉。运行后会开始下载70b,大概40G,下载完成后,会有一个对话测试。进入dify中的docker目录下 cd /data/dify/docker。docker,docker-compose部署掠过,教程比比皆是。准备工作,root下创建 /data/ollama/models。在搜索结果
系统:Ubuntu 22.04.2 LTS (GNU/Linux 6.8.0-52-generic x86_64)
软件:
Docker version 28.0.2
Docker-compose version 1.29.2
Dify 1.1.0
Ollama 0.6.2
Deepseek-r1:70b
docker,docker-compose部署掠过,教程比比皆是。
准备工作,root下创建 /data/ollama/models
部署 ollama:
拉取镜像
docker pull ollama/ollama:0.6.2
运行ollama
docker run -d -v /data/ollama/models/:/data/models -v /etc/localtime:/etc/localtime:ro -e OLLAMA_MODELS=/data/models -p 11434:11434 --gpus all --restart always --name ollama-0.6.2 ollama/ollama:0.6.2
进入ollama容器
docker exec -it ollama-0.6.2 bash
启动deepseek-r1:70b
ollama run deepseek-r1:70b
运行后会开始下载70b,大概40G,下载完成后,会有一个对话测试。成功对话则表示模型部署成功。
结束对话 输入/bye
查看模型列表
ollama list
查看运行中的模型
ollama ps
ollama访问地址
服务器IP:11434
部署dify
git下载dify文件
进入目录 /data,运行命令,这里指定了版本1.1.0,不指定版本,把命令 --branch 1.1.0 去掉
git clone https://github.com/langgenius/dify.git --branch 1.1.0
下载完成后,目录data下,会有一个文件夹dify
进入dify中的docker目录下 cd /data/dify/docker
执行docker-compose up -d
如图所示则表示dify部署完成。
注册dify
访问dify
浏览器访问:服务器IP,输入注册账号和密码即可
打开设置
点击模型供应商,在搜索栏输入ollama
在搜索结果中,找到ollama,点击安装,等待安装成功。
安装成功后,添加模型
具体填入
然后保存。
模型加入完成。就可以进入首页工作室中,创建应用
具体部署,请参考官方教程
更多推荐
所有评论(0)