最近本地部署个人知识库比较火,花了一些时间,我也搞了一个。我是在 Windows 系统操作的,为大家梳理一套完整的部署步骤。用 Ollama 来运行 DeepSeek 模型,Cherry Studio 作为客户端工具,最终实现一个带可视化界面和个人知识库功能的本地 AI 助手。

整个流程中,你需要提前安装的软件有:

  • Ollama – 用来在本地运行 DeepSeek 模型
  • Cherry Studio – 客户端界面,定制个人知识库

温馨提示:由于直接从网站下载速度较慢,因此我在文章最后分享了软件和模型供大家下载(见文末)。


一、DeepSeek模型选择

本地部署就是自己部署 DeepSeek-R1 模型,使用本地的算力。
主要瓶颈:内存 + 显存的大小。
特点:此方案不用联网。
适合:有数据隐私方面担忧的或者保密单位根本就不能上网的。

在这里插入图片描述

  • 1.5B = 15亿参数:属于“轻量级”选手。它反应快,对电脑配置要求低,适合做简单的问答、代码补全等基础任务。
  • 7B = 70亿参数:属于“中杯”选手。能力比1.5B强不少,能处理更复杂的对话,是目前个人玩家和创业公司比较喜欢的版本。
  • 32B = 320亿参数:属于“大杯”选手。逻辑推理能力更强,但需要更好的显卡才能流畅运行。
  • 671B = 6710亿参数:这就是DeepSeek的“满血版”大脑了。虽然推理时只激活其中的一小部分(约370亿参数),但完整的“知识库”极其庞大,需要多张顶级显卡组成的服务器集群才能带动。

DeepSeek本地部署:模型版本与硬件配置速查表

模型版本 参考GPU配置 显存需求 内存要求 适用场景与说明
轻量版
(1.5B/3B/7B)
NVIDIA RTX 3060 (12GB) 或 RTX 4060 Ti (16GB) 4-8 GB (FP16)
< 6 GB (4-bit量化)
16 GB+ 个人学习、轻量级应用:非常适合在个人电脑上运行,用于智能家居控制、本地知识库问答、代码补全等基础任务。量化后的模型甚至可以在部分集显或高性能CPU上运行。
中端通用版
(14B/32B)
NVIDIA RTX 4090 (24GB) 15-35 GB (FP16)
~12-15 GB (8/4-bit量化)
32-48 GB+ 企业级应用、专业开发者:满足企业文档分析、多轮对话系统、代码生成等需求。实测显示,32B模型在4-bit量化后可以在RTX 4090/3090上流畅运行。
高性能版
(67B/70B)
2× NVIDIA RTX 5090 (32GB) 或 A100 40GB/80GB ~70 GB+ (FP16)
~35 GB+ (8-bit量化)
128 GB+ 科研计算、金融建模:适用于需要强逻辑推理和专业领域知识的场景,如医疗诊断、金融分析等。通常需要多卡并行才能流畅运行。
旗舰满血版
(671B R1/V3)
8× NVIDIA A100 80GB 或 4× H100 (集群部署) > 80 GB (FP16) 256-512 GB+ 国家级AI研究、通用人工智能探索:作为671B参数的MoE专家模型,推理时仅激活约37B参数,但完整模型仍需要企业级集群才能部署。

二、部署过程

2.1 下载Ollama

下载地址:https://ollama.com/download/windows
选择对应系统的软件。

在这里插入图片描述

下载后图标:

在这里插入图片描述

2.2 安装Ollama

傻瓜式安装。过程如下:

在这里插入图片描述

自动安装到C盘:

在这里插入图片描述

安装完后,验证是否安装成功:
“Win + R” 输入 cmd 打开命令行:

在这里插入图片描述

命令行输入如下:

ollama -v

能显示 ollama 版本说明安装成功:

在这里插入图片描述

2.3 选择deepseek-r1模型

在 Ollama 官网搜索栏输入 deepseek-r1,找到 r1 模型:

在这里插入图片描述

2.4 选择版本

根据个人电脑情况选择版本:

在这里插入图片描述

我选择 7b 的模型:

在这里插入图片描述

2.5 本地运行DeepSeek模型

在命令行中,输入如下命令:

ollama run deepseek-r1:7b

首次运行会下载对应模型文件,速度可能较慢:

在这里插入图片描述

下载完成后,自动进入模型,直接在命令行输入问题,即可得到回复:

在这里插入图片描述

退出对话:

/bye

在这里插入图片描述

2.6 插件安装

插件用于上传资料,供模型使用。
与模型安装相类似,在 Ollama 官网搜索:dmeta-embedding-zh

在这里插入图片描述
在这里插入图片描述

安装插件:

在这里插入图片描述

2.7 查看已有模型

ollama list

在这里插入图片描述

到此模型与插件安装完成。


三、使用客户端工具

本地部署好模型之后,在命令行操作还是不太方便,我们继续使用一些客户端工具来使用。

Cherry Studio 的下载地址:https://cherry-ai.com/

在这里插入图片描述

Cherry Studio 的安装:傻瓜式安装,这里省略。

以 Cherry Studio 为例访问 deepseek-r1:7b 模型:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

选择模型:
在这里插入图片描述

创建个人知识库:

在这里插入图片描述

上传资料:

在这里插入图片描述

选择知识库,便可以进行提问交流。到此知识库建立完成。

注意:使用时要确保 Ollama 客户端已启动:

在这里插入图片描述


四、修改模型(models)文件夹路径(非必要,根据C盘空间大小)

模型默认会下载到:C:\Users\你的用户名\.ollama 目录下的 models 文件夹:

在这里插入图片描述

如果想修改模型的存放位置,做如下配置:

在这里插入图片描述

把 models 文件夹剪切到设置的位置,然后重启 Ollama,即可使用。
在这里插入图片描述

文末福利:由于官网下载速度较慢,我为大家准备好了所需软件和模型的网盘链接,关注公众号GIS领航员 回复“DeepSeek本地包”即可获取。

如果觉得本文对你有帮助,欢迎点赞、在看、分享给更多需要的朋友!

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐