最近，DeepSeek大火，想必大家都有所耳闻，各路媒体从各个方面报道了DeepSeek这家神秘的公司的各方面消息，这家低调的技术公司用一组硬核数据回应了所有关注：千亿参数规模下实现0.5元/百万tokens的API调用成本，91.5%的中文基准测试得分，推理效率较传统架构提升5倍。DeepSeek的AI大模型作为国产之光，不仅刷新了国产大模型的天花板，更标志着普惠AI时代的实质性突破。

我们看新闻的同时，不应该只停留在听说的层面上，应该深入体验并实践于各种应用场景：有人用它来帮自己写文章，有人用它来帮自己思考做决策，甚至有人用它来suanming，真是脑洞大开，破局圈友应该是行动最快的那群人。

最近，本文将带领大家本地部署 DeepSeek+Dify，零成本搭建自己的私有知识库。学会本文搭建方法后，我们也可以把自己的个人资料，过往输出文章，日记等所有个人信息上传到本地知识库，打造自己的私人助理。

当然，还可以有很多其他应用场景，比如：智能客服，智能题库。

本文，将按照以下主线展开：

• 安装Docker
• 安装Ollama
• 安装Dify
• 创建应用
• 创建知识库

一、下载并安装docker

网址：www.docker.com/

一路点击下一步安装即可，因为docker会用到hyper-v，如果电脑没开启hyper-v，可能会需要重启一次。

二、下载ollama

Ollama 是一个开源的本地化工具，旨在简化大型语言模型（LLMs）的本地运行和部署。它专注于让用户能够轻松在个人计算机或服务器上运行多种开源语言大模型（如deepseek ，qwen，Llama、Mistral、Gemma等），而无需依赖云端服务或复杂的配置流程。

网址：ollama.com/

安装完成后，桌面右下角会显示ollama图标

三、安装deepseek-r1模型

一）找到模型

在ollama官网首页的搜索框，点击一下即可看到deepseek-r1在第一个位置，可见热度之高啊！

可以看到模型有根据参数分为1.5b，7b，8b，14b，32b，70b，671b等，我们需要根据自己电脑选择下载对应参数的模型。

二）如何选择适合自己电脑的模型？

我的电脑配置如下：

问一下deepseek，让他帮我们选择，提示词如下：

我现在正在使用ollama部署deepseek-r1模型，但是模型分为1.5b，7b，8b，14b，32b，70b，671b等，我不知道该怎么选择适合我电脑配置模型了，我现在把我电脑的配置信息告诉你，你帮我选择一下吧

个人电脑信息如下：
系统：windows 11
运行内存：32G
专用GPU显存：6G
共享GPU内存：15.9G

三）安装r1模型

ollama run deepseek-r1:8b

ollama安装完后，没有图形界面，安装大模型，可以类比为docker拉取镜像，因为很多操作命令类似

四）测试

安装完成后，会自动运行大模型，我们输入一个问题测试一下：

四、安装dify

dify官网地址：difyai.com/

dify官网文档：docs.dify.ai/zh-hans

dify项目github地址：github.com/langgenius/…

一）先了解一下dify

这里简单介绍一下dify，需要详细了解的可以看dify的官网或官方文档。

Dify.AI 是一个开源的大模型应用开发平台，旨在帮助开发者轻松构建和运营生成式 AI 原生应用。该平台提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等全方位的能力，使开发者能够专注于创造应用的核心价值，而无需在技术细节上耗费过多精力。

从创建应用页面可以看到，他可以创建：聊天助手，Agent，文生文应用，对话工作流，任务编排工作流等

支持接入的大模型供应商几乎涵盖了全球所有知名大模型供应商

当然也包括国内的deepseek，ollama

他也支持从已有文本，Notion，网页等数据源创建知识库：

这就意味着，我们可以通过部署本地大模型，企业知识库，来部署企业私有化AI应用，比如：企业垂直领域的销售客服，HR用来培训企业招聘来的新员工，教育机构可以部署私有题库。并通过api的形式灵活构建自己的应用。

二）下载dify项目压缩包

三）安装dify环境

1、进入项目根目录找到docker文件夹

2、.env文件重命名

3、右键打开命令行

4、运行docker环境

docker compose up -d

此时回到docker桌面客户端可看到，所有dify所需要的环境都已经运行起来了

四）安装dify

在浏览器地址栏输入即可安装：

http://127.0.0.1/install

然后登录账号

进入dify主页如下：

五、如何将本地大模型与dify关联起来？

由于本教程的dify是通过docker部署的，也就是说，项目是运行在docker容器内部的，但是我们的ollama是运行在本地电脑的，但是他们是在同一台电脑上的，这就意味着，要想dify能够访问ollama提供的服务，需要获取到本地电脑的内网IP即可。

一）配置docker下的env文件

方法一：直接配置如下代码

# 启用自定义模型
CUSTOM_MODEL_ENABLED=true
# 指定 Ollama 的 API 地址（根据部署环境调整 IP）
OLLAMA_API_BASE_URL=host.docker.internal:11434

方法二：获取本机内网IP

打开命令行：win+r

输入：cmd

在命令行输入：ipconfig，并找到当前连接的网络适配器（如“无线局域网适配器 WLAN”或“以太网适配器”），下方显示的 IPv4 地址 即为内网IP（如 192.168.x.x 或 10.x.x.x）

然后，配置本地内网IP到dify的docker部署配置文件内

找到dify项目下的docker文件夹并进入，前面已经将.env.example改为了.env文件了，在末尾填上以下配置：

# 启用自定义模型
CUSTOM_MODEL_ENABLED=true
# 指定 Ollama 的 API 地址（根据部署环境调整 IP）
OLLAMA_API_BASE_URL=http://192.168.1.10:11434

二）配置大模型

三）设置系统模型

到此，dify就与前面部署的本地大模型关联起来了

六、创建一个应用

一）创建空白应用

二）应用配置

三）配置当前应用的大模型

四）测试

这表明，dify与本地部署的大模型deepseek-r1连通了，但是，我想让他的回答是基于我的私有知识库作为上下文来和我聊天怎么办？这就需要用到本地知识库了

七、创建本地知识库

一）添加Embedding模型

1、为什么要添加Embedding模型？

Embedding模型的作用是将高维数据（如文本、图像）转换为低维向量，这些向量能够捕捉原始数据中的语义信息。常见的应用包括文本分类、相似性搜索、推荐系统等。

我们上传的资料要通过Embedding模型转换为向量数据存入向量数据库，这样回答问题时，才能根据自然语言，准确获取到原始数据的含义并召回，因此我们需要提前将私有数据向量化入库。

2、下载 Embedding 模型

ollama pull bge-m3

Embedding 模型那么多，为什么选择bge-m3 ？

BGE (BAAI General Embedding) 专注于检索增强llm领域，经本人测试，对中文场景支持效果更好，当然也有很多其他embedding模型可供选择，可以根据自己的场景，在ollama上搜索“embedding”查询适合自己的嵌入模型。

3、配置 Embedding 模型

二）创建知识库

三）上传资料

四）保存并处理

五）知识库创建完成

八、添加知识库为对话上下文

一）应用内添加知识库

回到刚才的应用聊天页面，添加知识库

二）保存当前应用设置

如果只是当前应用内调试可以不必更新，但是如果想把当前应用发布为对外api服务或者持久化保存，就需要保存当前应用设置，记得实时保存当前设置。

二）测试

思考过程具有浓厚的deepseek风格，就好像真的有一个很认真的人在翻看文档一样，它把自己翻看文档的过程，清晰的展示了出来，最后给出自己的结论，非常严谨。如果是个特定的学术知识库，他一定还能帮你推演，思考，总结，非常方便。

如果感觉回答的效果还不满意，可以对召回参数进行调整，或者可以参考官方文档，做其他详细设置：docs.dify.ai/zh-hans/gui…

九、结语

DeepSeek作为可以私有化本地部署的大模型，加上Dify这个组合，我们还可以有很多其他应用场景，比如：智能客服，智能题库。

也可以把自己的个人资料，过往输出文章，日记等所有个人信息上传到本地知识库，打造自己的私人助理。

Dify还有很多其他功能，有了deepseek这样的优秀国产AI大模型加持，我们可以做更多智能体应用。当然，Dify也可以像coze一样，发布为对外服务的api，这样，它就可以结合cursor快速做出更多的AI应用。

何以破局，唯有行动！希望看到这里的你能够积极行动起来，做出自己的AI应用！

---

十、答疑篇

前几天，我发了一遍 DeepSeek+Dify 部署本地知识库的文章，在公众号，知乎，星球上，很多朋友都跟着进行了实操，也给了我很多的反馈，在此，我专门做一下集中答疑，希望朋友们少走弯路，主要有以下几点：

一）Dify 和 ollama 关联时，使用本机IP，还是跑不通怎么办？

如果使用本机内网IP联不通的话，可以尝试把指定 Ollama 的 API 地址改为host.docker.internal:11434试试

改完后，执行如下两个命令：

docker compose down

docker compose up -d

二）知识库 embedding 模型使用哪个比较好？

原本为了降低教程难度，我就使用了deepseek-r1模型作为embedding模型来使用了，使用效果也勉强过得去.

但是，deepseek-r1毕竟不是专门的embeddinig模型，他不是专门为了嵌入场景训练的。

所以，使用deepseek-r1作为嵌入模型时，有些问题回答的不是很尽如人意，因此，我又测试了其他几款专业embedding模型，综合结果显示：bge-m3 效果最好，这里推荐大家使用 bge-m3 作为嵌入模型。

一）安装 bge-m3 模型

bge-m3 模型安装和deepseek-r1完全一样，一个命令即可安装：

ollama pull bge-m3

Embedding 模型那么多，为什么选择 nomic-embed-text ？

BGE (BAAI General Embedding) 专注于检索增强llm领域，经本人测试，对中文场景支持效果更好，当然也有很多其他embedding模型可供选择，可以根据自己的场景，在ollama上搜索“embedding”查询适合自己的嵌入模型。

二）配置 Embedding 模型

三）创建知识库

四）上传资料

五）保存并处理

六）知识库创建完成

七）测试效果

对比可以看到，使用bge-m3之前，对于有些问题的回答，答非所问，虽然有时候答案是对的，但是那是蒙的，并没有引用到正确的知识库对应的信息。

使用了bge-m3之后，很明显答案有理有据，推理依据是正确的上下文，而非猜测。

所以，知识库回答效果跟Embedding模型有很大关系，需要根据实际场景进行选型。

如果还有疑问，可以加我微信细聊：ao-ai-coding

三）运行 docker 镜像一直不成功，是怎么回事？

首次运行 docker 镜像，会拉取 dify 所需相关环境，可能比较慢，或者不成功，如果一直失败或者卡着没反应，尝试打开tz ，或者配置docker国内镜像源

四）运行Docker时，报错：Docker Desktop - WSL update failed 怎么办？

解决方案：确保hyperf-v勾选状态，没有勾选的，请勾选，然后重启电脑

如果没有该hyper-v选项，需要安装，讲以下文本内容创建为一个bat文件，文本内容如下：

pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages%%i"del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

bat文件创建完成后，右键–以管理员身份运行，等几分钟，执行完以后，重启电脑，“Window功能” Hyper-V选项就已经默认勾上了：

安装WSL（如果没安装的话）：

wsl_update_x64下载地址: wslstorestorage.blob.core.windows.net/wslblob/wsl…

然后，ctrl+r，以管理员的身份打开CMD，执行命令:

netsh winsock reset

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓