本文叫你从头开始部署DeepSeek+Dify 的本地知识库,保姆级教学。看完即会

一、Dify 的定义:

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

二、Dify对硬件的最低要求:

  • CPU >= 2 Core
  • RAM >= 4 GiB

三、安装前装备工作:

3.1 Ollama安装配置:

Ollama 是一个开源工具,是本地 LLM 运行框架;

它专注于简化大型语言模型(Large Language Models, LLMs)的本地运行和管理。它通过提供便捷的命令行工具和 API 接口,让用户能够在本地设备(如个人电脑或服务器)上高效部署、运行和交互式调试各类开源语言模型(如 Llama 2、Mistral、Phi 等)。

下载安装Ollama:

https://ollama.com/

这里下载如果比较慢,可以使用博主提供的网盘下载;

3.2 私有化部署deepseek模型:

  1. 下载deepseek-r1 模型;

    ollama pull deepseek-r1:7b

  2. 下载Embedding模型:

    ollama pull bge-m3

3.3 docker-compose 安装:

我们这里为了安装dify 方便,使用的是容器的方式,所以需要提前安装docker-compose。

一、Linux 系统安装
1. 前置条件
  • 已安装 Docker 引擎(官方安装文档

  • 确保 curl 工具已安装:

    sudo apt update && sudo apt install curl -y  # Debian/Ubuntu
    sudo yum install curl -y                     # CentOS/RHEL
    
2. 下载 Docker Compose 二进制文件
# 获取最新版本号(以 v2.27.0 为例,替换为官网最新版本)
DOCKER_COMPOSE_VERSION=$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep 'tag_name' | cut -d '"' -f 4)

# 下载并安装到系统路径
sudo curl -L "https://github.com/docker/compose/releases/download/${DOCKER_COMPOSE_VERSION}/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

# 赋予执行权限
sudo chmod +x /usr/local/bin/docker-compose
3. 验证安装
docker-compose --version
# 输出示例:Docker Compose version v2.27.0

二、macOS / Windows 系统

四、智能助手搭建:

4.1 安装Dify

1、下载:

#下载
git clone https://github.com/langgenius/dify.git
# 或者
git clone https://gitee.com/dify_ai/dify

下载以后,只关注docker文件夹和README_CN.md即可。

2、启动Dify:

2.1 进入 Dify 源代码的 Docker 目录:

dify目录下的docker目录中;

cd dify/docker

2.2 复制环境配置文件

创建一个.env的文件,执行下面命令。.env.example 通过ls 是看不到,但是是存在的。

cp .env.example .env
可以不处理:修改一下端口:

[!NOTE]

默认占用的是80和443端口,如果你本机已经部署了其他的应用,可能会占了该端口,修改.env文件中的下面两个变量

EXPOSE_NGINX_PORT=8088
EXPOSE_NGINX_SSL_PORT=88443
可以不处理:上传文件大小

默认上传图片大小是10MB,上传视频大小是100MB,文件默认是50MB,如果有需要修改下面对应的参数

# If configured as url, you need to configure FILES_URL as an externally accessible address so that the multi-modal model can access the image/video/audio/document.
MULTIMODAL_SEND_FORMAT=base64
# Upload image file size limit, default 10M.
UPLOAD_IMAGE_FILE_SIZE_LIMIT=10
# Upload video file size limit, default 100M.
UPLOAD_VIDEO_FILE_SIZE_LIMIT=100
# Upload audio file size limit, default 50M.
UPLOAD_AUDIO_FILE_SIZE_LIMIT=50

这里控制的是知识库中上传本地文件的大小。

2.3 启动dify容器
docker compose up -d

  1. 启动成功后如下:

通过docker ps 查看:
在这里插入图片描述

包括 3 个业务服务 api / worker / web,以及 6 个基础组件 weaviate / db / redis / nginx / ssrf_proxy / sandbox

3. 访问Dify

3.1 配置管理员账号:

http://127.0.0.1:8088/install

3.2 Dify 主页面,登陆:
# 本地环境
http://localhost

# 服务器环境
http://your_server_ip

4.2 接入本地大模型Deepseek和Embedding:

4.2.1 点击账号,进入设置

在这里插入图片描述

4.2.2 点击:模型供应商,选择Ollama 模型。点击添加模型

4.2.3 首先配置LLM:

4.2.4 再配置:Text Embedding 模型

​ 添加 Embedding 模型的目的是为了将高维数据(例如文本、图像)转换为低维向量。这些向量可以有效地捕捉原始数据的语义信息,适用于各种应用场景,包括文本分类、相似性搜索、推荐系统等。

​ 我们需要将上传的私有资料通过 Embedding 模型转换为向量数据,并存储在向量数据库中。这样,在回答问题时,我们就可以根据自然语言,准确地获取到原始数据的含义并进行召回。因此,提前将私有数据向量化并入库是非常重要的步骤。

4.2.5 查看配置好的模型:

4.2.6 查看系统模型配置

回到首页,刷新。重新进入设置:可以看到系统模型设置,已经出现了我们配置的deepseek-r1:7b和bge-m3

注意:不返回首页重新进入一次,这里可能看不到。

4.3 创建知识库:

1、导入文本,上传文件,点击下一步:

2、知识库配置,选好后,点击保存处理:

  1. 分段设置:选择父子分段
  2. 索引方式: 高质量
  3. 模型选择:bge-m3
  4. 检索设置: 混合检索

3、等待处理

4、 显示嵌入已完成:

4.4、创建AI 聊天工作室:

4.4…1 进入首页工作室

在这里插入图片描述

4.4.2 创建应用:

4.4.3 在聊天助手中添加知识库:

4.4.4 选择创建的知识库,点击添加:

4.4.5 测试:

在这里插入图片描述

在这里插入图片描述

4.4.6 点击发布:

聊天助手这里就会出现一个应用。

五、Dify 配置在线大模型:

如果电脑不支持或者觉得麻烦,可以使用在线大模型。注册送的免费额度可以使用很久。

5.1 使用在线Deepseek;

在这里插入图片描述

配置后,在聊天助手中就可以使用这个模型,,可以看到Deepseek的模型:

在这里插入图片描述

5.2 使用 SiliconCloud

注册即送 2000 万 Tokens

注册地址: https://cloud.siliconflow.cn/i/5WC4oDo4

如何获取 SiliconCloud api-key?

点击注册地址: https://cloud.siliconflow.cn/i/5WC4oDo4。注册后登陆进入以下页面,创建api-key。

配置后,在聊天助手中就可以使用,可以看到硅基的模型:

在这里插入图片描述

六、问题总结:

5.1 启动Dify 超时问题:

操作系统: mac

Error response from daemon: Get “https://registry-1.docker.io/v2/”: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)

在使用docker进行镜像拉取的时候,存在拉取不下来,或者超时的问题,就会报
docker: Error response from daemon: Get “https://registry-1.docker.io/v2/“: net/http: request canc的错误,导致无法开心的使用docker。

解决:

1、找到daemon.json文件的位置

docker info 

在这里插入图片描述

可以看出位置在: /Users/spuer/.docker

  1. 进入daemon.json 所在的目录:

    cd /Users/spuer/.docker
    
  2. 查看daemon.json的内容:

    more daemon.json
    

可以看出,没有配置registry-mirrors

  1. 在daemon.json中配置registry-mirrors:

    {
       "builder": { "gc": { "defaultKeepStorage": "20GB", "enabled": true } },
        "experimental": false,
        "features": { "buildkit": true },
        "registry-mirrors": [
            "https://docker.1ms.run",
            "https://docker.1panel.live/"
        ]
    }
    
  2. 重启docker。我用的是docker desktop.

  1. 再此执行安装,完美:

安装包和资料获取:

清华大学全套资料以及dify配置所需安装包

关键字: dify

文章下方名片联系我即可~
✌💗大家点赞、收藏、关注、评论啦 、查看✌💗
👇🏻获取联系方式👇🏻

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐