
DeepSeek+Dify搭建本地知识库大模型
通过DeepSeek和Dify,在本地搭建自有知识库大模型,使用本地文件训练。
DeepSeek+Dify搭建本地知识库大模型
1.设置本地Windows环境
打开HyperV,控制面板-程序-启用或关闭Windows功能,打开Hyper-V、适用于Linux的Windows子系统。安装并重启系统。
命令行安装wsl
wsl --install
Windows软件商店安装Ubuntu
2.安装docker
访问docker官网:https://www.docker.com/get-started,下载 Download Docker Desktop for Windows-amd64(64 位)安装包。双击并下一步直接安装即可。
注意,需要追加镜像源,避免无法拉取
添加如下
"registry-mirrors": [
"https://docker.1ms.run",
"https://docker.mirrors.ustc.edu.cn",
"https://registry.docker-cn.com",
"http://hub-mirror.c.163.com",
"https://mirror.ccs.tencentyun.com"
]
3.使用ollama部署deepseek
访问https://ollama.com/ 下载最新版本ollama,安装。
在Models里面找到DeepSeek 的安装命令,在Powershell中执行,安装8B版本。
ollama run deepseek-r1:8b
4060显卡安装8B版本后,显存基本用满。
安装成功截图
到此如果想简单用浏览器使用,使用edge安装Page Assist即可。
在Edge浏览器应用中搜索Page Assist,安装。
下一步,将基于Dify构建本地知识库调用DeepSeek。
4.安装Dify,构建知识库
访问GitHub,下载dify压缩包:https://github.com/langgenius/dify/archive/refs/tags/0.15.3.zip
解压后,打开dify目录,找到docker目录,将.env.example文件重命名为.env,并增加配置
# 允许使用个人模型
CUSTOM_MODEL_ENABLED = true
# 配置模型路径
OLLAMA_API_BASE_URL=host.docker.internal:11434
打开powershell,进入env文件目录,执行,并等待完成
docker-compose up -d
启动Dify,在浏览器里执行http://localhost/install
输入任意用户名、密码、邮箱,进行初始化。
进入Dify后,在最上方,选择工作室,选择创建空白应用
创建聊天助手,设置名称、图标。
进入设置
添加Ollama模型供应商,设置名称、Url http://host.docker.internal:11434
在Powershell中,使用Ollama添加 bge-m3,并在模型中添加
ollama pull bge-m3
模型配置完成后,进入知识库菜单,添加知识库
选取本地文件夹内文件添加即可
选取高质量,点击保存并处理。
完成后,回到工作室,选择模型,添加知识库后发布即可。
运行成功。
可以持续添加知识库文件并发布。
更多推荐
所有评论(0)