DeepSeek+Dify搭建本地知识库大模型

1.设置本地Windows环境

打开HyperV,控制面板-程序-启用或关闭Windows功能,打开Hyper-V、适用于Linux的Windows子系统。安装并重启系统。
在这里插入图片描述

命令行安装wsl

wsl --install

Windows软件商店安装Ubuntu
在这里插入图片描述

2.安装docker

访问docker官网:https://www.docker.com/get-started,下载 Download Docker Desktop for Windows-amd64(64 位)安装包。双击并下一步直接安装即可。

在这里插入图片描述

注意,需要追加镜像源,避免无法拉取

添加如下

 "registry-mirrors": [
    "https://docker.1ms.run",
    "https://docker.mirrors.ustc.edu.cn",
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://mirror.ccs.tencentyun.com"
  ]

在这里插入图片描述

3.使用ollama部署deepseek

访问https://ollama.com/ 下载最新版本ollama,安装。

在这里插入图片描述

在Models里面找到DeepSeek 的安装命令,在Powershell中执行,安装8B版本。

在这里插入图片描述

ollama run deepseek-r1:8b

4060显卡安装8B版本后,显存基本用满。
在这里插入图片描述

安装成功截图

在这里插入图片描述

到此如果想简单用浏览器使用,使用edge安装Page Assist即可。

在Edge浏览器应用中搜索Page Assist,安装。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

下一步,将基于Dify构建本地知识库调用DeepSeek。

4.安装Dify,构建知识库

访问GitHub,下载dify压缩包:https://github.com/langgenius/dify/archive/refs/tags/0.15.3.zip

解压后,打开dify目录,找到docker目录,将.env.example文件重命名为.env,并增加配置

# 允许使用个人模型
CUSTOM_MODEL_ENABLED = true
# 配置模型路径
OLLAMA_API_BASE_URL=host.docker.internal:11434

打开powershell,进入env文件目录,执行,并等待完成

docker-compose up -d

启动Dify,在浏览器里执行http://localhost/install

输入任意用户名、密码、邮箱,进行初始化。

进入Dify后,在最上方,选择工作室,选择创建空白应用

在这里插入图片描述

创建聊天助手,设置名称、图标。
在这里插入图片描述

进入设置

在这里插入图片描述

添加Ollama模型供应商,设置名称、Url http://host.docker.internal:11434
在这里插入图片描述

在Powershell中,使用Ollama添加 bge-m3,并在模型中添加

ollama pull bge-m3

在这里插入图片描述

模型配置完成后,进入知识库菜单,添加知识库

在这里插入图片描述

选取本地文件夹内文件添加即可

在这里插入图片描述

选取高质量,点击保存并处理。

在这里插入图片描述

完成后,回到工作室,选择模型,添加知识库后发布即可。

在这里插入图片描述

运行成功。

在这里插入图片描述

可以持续添加知识库文件并发布。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐