DeepSeek+AnythingLLM + Ollama 搭建本地大模型知识库

前言

本地部署的最大意义在于利用DeepSeek大模型的能力加上自己的知识库，可以训练出一个符合自己需求的大模型。

这就是本地部署+知识库的作用。是DeepSeek官网不具备的。因为这是训练的你的私有资料。

今天就来分享下这个搭建过程。用到的工具组合是AnythingLLM +Ollama +DeepSeek

废话不多说，直接干货

安装Ollama

1、官方网站下载：https://ollama.com/，点击download进行下载。

2、为了避免安装在C盘占用空间，右键以管理员身份运行Ollama安装程序，可以使用命令指定路径方式安装Ollama，安装命令：OllamaSetup.exe /DIR=d:\Ollama，如下图：

3、点击Install安装完成即可，如下图：

4、配置下载模型保存路径， 在D盘新建一个文件夹命名为OllamaAI，然后打开系统环境变量，新建变量名：OLLAMA_MODELS 变量值：D:\OllamaAI，如下图：

温馨提示： 此步主要是解决Ollama默认下载模型到C盘问题，若C盘空间足够大的小伙伴此步骤可略过。

5.重启电脑后，在开始菜单找到Ollama程序打开，打开后在电脑右下角会有一个羊驼图标显示。

6、点击羊驼图标运行后，在右下角显示。

下载DeepSeek模型

1、输入ollama run+ 模型名称，按回车键即可下载（看下面附图硬件要求选择下载其中一个或多个，此过程可能有点慢，若下载失败重新输入命令下载即可），如下：

ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b

2、我们选择下载8b模型，在Windows PowerShell终端运行命令：ollama run deepseek-r1:8b。如下图：

3、使用命令运行模型：ollama run deepseek-r1:8b。试一下提问：你是谁？使用效果如下图：

这样就算安装成功了。

DeepSeek不同参数版本介绍：

安装AnythingLLM

安装一个交互界面的软件，可以把资料投喂给大模型，类似的交互界面很多，暂时使用AnythingLLM，有其他好用的工具，网友留言反馈。

1、官方网站：https://anythingllm.com，下载软件，如图：

2、同样默认安装到D盘，如下图：

3、点击安装后，直接等待安装完成。根据网速情况，安装快慢不一样，会下载各种模型及相关文件。如下图：

AnythingLLM基本应用

1、在桌面打开“AnythingLLM”应用程序，设置成中文，如下图：

2、新建一个工作区，单击“新工作区”，在demo工作区上单击设置图标，在“聊天设置”设置“工作区聊天模型”为：deepseek-r1:8b。如下图：

3、 在demo聊天应用效果如下图：

4、自定义知识库应用
　将自己的资料投喂给deepseek模型，在demo工作区上单击上传文件按钮，如下图：

4、 我把上传投喂给deepseek模型，上传成功后，选择相应的文件，单击“Move to Workspace”按钮移动到demo工作区；然后单击“Save and Embed”按钮，根据文档内容的大小处理过程耗时不一样；保存成功后，在文件后面的按钮钉起来后会变成黑色，就证明选择这个文件。如下图：

5、返回demo工作区后，问同样的问题就OK了。