DeepSeek+Dify炸场!本地知识库「私有化核弹」:效率飙涨300%,企业数据安全从此躺赢!
操作系统: mac在使用docker进行镜像拉取的时候,存在拉取不下来,或者超时的问题,就会报docker: Error response from daemon: Get “https://registry-1.docker.io/v2/“: net/http: request canc的错误,导致无法开心的使用docker。
本文叫你从头开始部署DeepSeek+Dify 的本地知识库,保姆级教学。看完即会
一、Dify 的定义:
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
二、Dify对硬件的最低要求:
- CPU >= 2 Core
- RAM >= 4 GiB
三、安装前装备工作:
3.1 Ollama安装配置:
Ollama 是一个开源工具,是本地 LLM 运行框架;
它专注于简化大型语言模型(Large Language Models, LLMs)的本地运行和管理。它通过提供便捷的命令行工具和 API 接口,让用户能够在本地设备(如个人电脑或服务器)上高效部署、运行和交互式调试各类开源语言模型(如 Llama 2、Mistral、Phi 等)。
下载安装Ollama:
https://ollama.com/
这里下载如果比较慢,可以使用博主提供的网盘下载;
3.2 私有化部署deepseek模型:
-
下载deepseek-r1 模型;
ollama pull deepseek-r1:7b
-
下载Embedding模型:
ollama pull bge-m3
3.3 docker-compose 安装:
我们这里为了安装dify 方便,使用的是容器的方式,所以需要提前安装docker-compose。
一、Linux 系统安装
1. 前置条件
-
已安装 Docker 引擎(官方安装文档)
-
确保
curl
工具已安装:sudo apt update && sudo apt install curl -y # Debian/Ubuntu sudo yum install curl -y # CentOS/RHEL
2. 下载 Docker Compose 二进制文件
# 获取最新版本号(以 v2.27.0 为例,替换为官网最新版本)
DOCKER_COMPOSE_VERSION=$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep 'tag_name' | cut -d '"' -f 4)
# 下载并安装到系统路径
sudo curl -L "https://github.com/docker/compose/releases/download/${DOCKER_COMPOSE_VERSION}/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
# 赋予执行权限
sudo chmod +x /usr/local/bin/docker-compose
3. 验证安装
docker-compose --version
# 输出示例:Docker Compose version v2.27.0
二、macOS / Windows 系统
-
推荐方案:直接安装 Docker Desktop(已内置 Docker Compose)
-
验证安装:
docker-compose version
四、智能助手搭建:
4.1 安装Dify
1、下载:
#下载
git clone https://github.com/langgenius/dify.git
# 或者
git clone https://gitee.com/dify_ai/dify
下载以后,只关注docker文件夹和README_CN.md即可。
2、启动Dify:
2.1 进入 Dify 源代码的 Docker 目录:
dify目录下的docker目录中;
cd dify/docker
2.2 复制环境配置文件
创建一个.env的文件,执行下面命令。.env.example 通过ls 是看不到,但是是存在的。
cp .env.example .env
可以不处理:修改一下端口:
[!NOTE]
默认占用的是80和443端口,如果你本机已经部署了其他的应用,可能会占了该端口,修改.env文件中的下面两个变量
EXPOSE_NGINX_PORT=8088
EXPOSE_NGINX_SSL_PORT=88443
可以不处理:上传文件大小
默认上传图片大小是10MB,上传视频大小是100MB,文件默认是50MB,如果有需要修改下面对应的参数
# If configured as url, you need to configure FILES_URL as an externally accessible address so that the multi-modal model can access the image/video/audio/document.
MULTIMODAL_SEND_FORMAT=base64
# Upload image file size limit, default 10M.
UPLOAD_IMAGE_FILE_SIZE_LIMIT=10
# Upload video file size limit, default 100M.
UPLOAD_VIDEO_FILE_SIZE_LIMIT=100
# Upload audio file size limit, default 50M.
UPLOAD_AUDIO_FILE_SIZE_LIMIT=50
这里控制的是知识库中上传本地文件的大小。
2.3 启动dify容器
docker compose up -d
通过docker ps 查看:
包括 3 个业务服务 api / worker / web
,以及 6 个基础组件 weaviate / db / redis / nginx / ssrf_proxy / sandbox
。
3. 访问Dify
3.1 配置管理员账号:
http://127.0.0.1:8088/install
3.2 Dify 主页面,登陆:
# 本地环境
http://localhost
# 服务器环境
http://your_server_ip
4.2 接入本地大模型Deepseek和Embedding:
4.2.1 点击账号,进入设置
4.2.2 点击:模型供应商,选择Ollama 模型。点击添加模型
4.2.3 首先配置LLM:
4.2.4 再配置:Text Embedding 模型
添加 Embedding 模型的目的是为了将高维数据(例如文本、图像)转换为低维向量。这些向量可以有效地捕捉原始数据的语义信息,适用于各种应用场景,包括文本分类、相似性搜索、推荐系统等。
我们需要将上传的私有资料通过 Embedding 模型转换为向量数据,并存储在向量数据库中。这样,在回答问题时,我们就可以根据自然语言,准确地获取到原始数据的含义并进行召回。因此,提前将私有数据向量化并入库是非常重要的步骤。
4.2.5 查看配置好的模型:
4.2.6 查看系统模型配置
回到首页,刷新。重新进入设置:可以看到系统模型设置,已经出现了我们配置的deepseek-r1:7b和bge-m3
注意:不返回首页重新进入一次,这里可能看不到。
4.3 创建知识库:
1、导入文本,上传文件,点击下一步:
2、知识库配置,选好后,点击保存处理:
- 分段设置:选择父子分段
- 索引方式: 高质量
- 模型选择:bge-m3
- 检索设置: 混合检索
3、等待处理
4、 显示嵌入已完成:
4.4、创建AI 聊天工作室:
4.4…1 进入首页工作室
4.4.2 创建应用:
4.4.3 在聊天助手中添加知识库:
4.4.4 选择创建的知识库,点击添加:
4.4.5 测试:
4.4.6 点击发布:
聊天助手这里就会出现一个应用。
五、Dify 配置在线大模型:
如果电脑不支持或者觉得麻烦,可以使用在线大模型。注册送的免费额度可以使用很久。
5.1 使用在线Deepseek;
配置后,在聊天助手中就可以使用这个模型,,可以看到Deepseek的模型:
5.2 使用 SiliconCloud
注册即送 2000 万 Tokens
注册地址: https://cloud.siliconflow.cn/i/5WC4oDo4
如何获取 SiliconCloud api-key?
点击注册地址: https://cloud.siliconflow.cn/i/5WC4oDo4。注册后登陆进入以下页面,创建api-key。
配置后,在聊天助手中就可以使用,可以看到硅基的模型:
六、问题总结:
5.1 启动Dify 超时问题:
操作系统: mac
Error response from daemon: Get “https://registry-1.docker.io/v2/”: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
在使用docker进行镜像拉取的时候,存在拉取不下来,或者超时的问题,就会报
docker: Error response from daemon: Get “https://registry-1.docker.io/v2/“: net/http: request canc的错误,导致无法开心的使用docker。
解决:
1、找到daemon.json文件的位置
docker info
可以看出位置在: /Users/spuer/.docker
-
进入daemon.json 所在的目录:
cd /Users/spuer/.docker
-
查看daemon.json的内容:
more daemon.json
可以看出,没有配置registry-mirrors;
-
在daemon.json中配置registry-mirrors:
{ "builder": { "gc": { "defaultKeepStorage": "20GB", "enabled": true } }, "experimental": false, "features": { "buildkit": true }, "registry-mirrors": [ "https://docker.1ms.run", "https://docker.1panel.live/" ] }
-
重启docker。我用的是docker desktop.
- 再此执行安装,完美:
安装包和资料获取:
清华大学全套资料以及dify配置所需安装包
关键字: dify
文章下方名片联系我即可~
✌💗大家点赞、收藏、关注、评论啦 、查看✌💗
👇🏻获取联系方式👇🏻
更多推荐
所有评论(0)