
使用dify+deepseek部署本地知识库
随着AI工具的广泛使用,利用现有的AI工具(例如deepseek、豆包、kimi、GPT等)可以大副度地提升日常的工作效率。但对于企业来说,为考虑数据的安全性,可以考虑本地部署AI,避免数据泄露。同时通过搭建自己本地的知识库,实现定制化的功能。
使用dify+deepseek部署本地知识库
一、概述
随着AI工具的广泛使用,利用现有的AI工具(例如deepseek、豆包、kimi、GPT等)可以大副度地提升日常的工作效率。但对于企业来说,为考虑数据的安全性,可以考虑本地部署AI,避免数据泄露。同时通过搭建自己本地的知识库,实现定制化的功能。
二、安装windows docker desktop
1、确认系统的Hyper-v功能正常启用
控制面板 ——> 程序和功能
2、docker官网下载安装windows客户端
https://www.docker.com/
等待安装包下载完成, 双击运行安装即可,所有选项保持默认
3、安装完成后的界面如下所示
首次安装时,默认是没有任何容器显示的,这是我部署好dify界面的截图
三、下载安装ollama
等待安装包下载完成, 双击运行安装,中间没有任何选项,保持下一步安装即可
四、部署本地deepseek
此案例中部署的是deepseek-r1:7b版本
说明:运行上面的命令为部署deepseek-r1:7b版本,由于我这里事先已经部署好了,直接会进入模型。首次部署时,会出现下载过程,大约4.7G的容量,看网速等待完成即可
五、本地下载部署dify
5.1 下载dify的安装包
https://github.com/langgenius/dify
等待安装包下载完成
5.2 将dify解压到任意目录
最好不要有中文
切换到解压目录的docker目录(D:\dify-main\docker)中,将.env.example复制重命名为.env
5.3 开始部署dify
由于我这里dify事先部署完成了,所以显示的都是running过程。首次部署时,需要等待下载相应的容器镜像,创建相应的容器
成功部署后,可以在docker desktop界面查看创建的容器、及镜像
5.4 通过浏览器访问本地的dify
按第一步的提示,创建管理员用户,跳转到登录界面
登录成功后的界面如下所示
六、设置dify使用的模型
6.1 设置dify使用的模型
6.2 安装模型厂商,设置对应的key
比如这里设置ollama厂商调用本地部署的deepseek-r1:7b
6.3 设置系统推理模型
七、创建本地知识库
7.1 安装bge-m3模型
7.2 在dify中添加bge-m3模型
7.3 创建本地知识库
八、创建对话助手
创建对话助手,使用本地的知识库进行对话问答
更多推荐
所有评论(0)