零成本部署本地知识库：deepseek+dify保姆级教程，轻松实现本地部署！

Python怎么学啊

1953人浏览 · 2025-04-21 11:31:04

Python怎么学啊 · 2025-04-21 11:31:04 发布

一、本地部署模型

ollama官网：Ollama

下载ollama

在这里插入图片描述

ollama基本命令：

#查看版本号
ollama -v

#列出本地所有可用的模型‌
ollama list

#删除一个已安装的模型‌
ollama rm [模型名称]

安装后查看版本号

在这里插入图片描述

安装成功！

搜索 deepseek-r1

在这里插入图片描述

具体参数可参照配置表自行选择

在这里插入图片描述

出现success安装成功！

在这里插入图片描述

dify官网：Dify.AI · 生成式 AI 应用创新引擎

部署dify首先下载dokcer docker官网：https://www.docker.com/

文档链接：Deploy with Docker Compose | Dify

在这里插入图片描述

将 Dify 源代码克隆到本地机器：

git clone https://github.com/langgenius/dify.git

启动 Dify

导航到 Dify 源代码中的 Docker 目录

cd dify/docker

复制环境配置文件

cp .env.example .env

在这里插入图片描述

3.启动 Docker 容器

  如果您有 Docker Compose V2，请使用以下命令：

docker compose up -d

 如果您有 Docker Compose V1，请使用以下命令：

docker-compose up -d

如果遇到报错：

Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)

在这里插入图片描述

问题是镜像源没有配置国内的镜像源

Linux系统设置如下：

vi /etc/docker/daemon.json

配如下地址：

{
"registry-mirrors": [
"https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com",
"https://docker.m.daocloud.io",
"https://hub-mirror.c.163.com",
"https://mirror.baidubce.com",
"https://your_preferred_mirror",
"https://dockerhub.icu",
"https://docker.registry.cyou",
"https://docker-cf.registry.cyou",
"https://dockercf.jsdelivr.fyi",
"https://docker.jsdelivr.fyi",
"https://dockertest.jsdelivr.fyi",
"https://mirror.aliyuncs.com",
"https://dockerproxy.com",
"https://mirror.baidubce.com",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://docker.mirrors.sjtug.sjtu.edu.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://mirror.iscas.ac.cn",
"https://docker.rainbond.cc"
]
}

重新加载配置文件及docker服务：

systemctl daemon-reload

重启docker服务：

systemctl restart docker

windows系统设置如下：

配置文件：

{
"registry-mirrors": [
"https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com",
"https://docker.m.daocloud.io",
"https://hub-mirror.c.163.com",
"https://mirror.baidubce.com",
"https://your_preferred_mirror",
"https://dockerhub.icu",
"https://docker.registry.cyou",
"https://docker-cf.registry.cyou",
"https://dockercf.jsdelivr.fyi",
"https://docker.jsdelivr.fyi",
"https://dockertest.jsdelivr.fyi",
"https://mirror.aliyuncs.com",
"https://dockerproxy.com",
"https://mirror.baidubce.com",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://docker.mirrors.sjtug.sjtu.edu.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://mirror.iscas.ac.cn",
"https://docker.rainbond.cc"
]
}

在这里插入图片描述

然后重启docker服务

在这里插入图片描述

再次执行：

docker compose up -d

在这里插入图片描述

dify 安装完成！会有docker名字的这个容器

在这里插入图片描述

访问 http://localhost/install 设置账号密码设置好后

在这里插入图片描述

找到模型供应商，添加模型

在这里插入图片描述

模型名称自定义可以填写对应的名称 deepseek-r1:7b

url地址填写：

http://host.docker.internal:11434

在这里插入图片描述

保存

在这里插入图片描述

选择保存

在这里插入图片描述

创建应用

在这里插入图片描述

这里就可以访问了，创建本地的知识库，需要用到Embedding 模型，测试bge-m3性能最高

安装bge-m3

ollama pull bge-m3

在这里插入图片描述

添加模型

在这里插入图片描述

名字可以已定义，url还是设置

http://host.docker.internal:11434

在这里插入图片描述

设置成功，现在可以创建知识库

在这里插入图片描述

选择上传的知识文件

在这里插入图片描述

上传下一步

在这里插入图片描述

选择高质量，只用引擎，向量搜索

在这里插入图片描述

点击保存处理

在这里插入图片描述

嵌入中

在这里插入图片描述

嵌入已完成

在这里插入图片描述

添加知识库

在这里插入图片描述

选择添加

在这里插入图片描述

读取的知识库，我的电脑配置没那么高，用7b的响应了1分钟，配置高的可以选择高版本的

在这里插入图片描述

一、大模型风口已至：月薪30K+的AI岗正在批量诞生

在这里插入图片描述

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

在这里插入图片描述

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

在这里插入图片描述