
Windows系统本地部署DeepSeek详细教程
最近DeepSeek非常火爆,因其卓越的推理能力和低成本特性而广受欢迎,DeepSeek开源了部分模型,通过蒸馏技术可以将大模型参数压缩为更小的版本(如1.5B、7B等),显著降低对显存和计算资源的需求,这使得普通家用电脑也能部署,无需依赖高端硬件。本地部署不仅能规避网络延迟和隐私风险,还能根据需求定制模型功能,成为高效办公、学习研究的利器。此外,本地部署使数据完全存储于自有服务器或私有云,避免第
前言
最近DeepSeek非常火爆,因其卓越的推理能力和低成本特性而广受欢迎,DeepSeek开源了部分模型,通过蒸馏技术可以将大模型参数压缩为更小的版本(如1.5B、7B等),显著降低对显存和计算资源的需求,这使得普通家用电脑也能部署,无需依赖高端硬件。
本地部署不仅能规避网络延迟和隐私风险,还能根据需求定制模型功能,成为高效办公、学习研究的利器。 此外,本地部署使数据完全存储于自有服务器或私有云,避免第三方平台的数据泄露风险,尤其适用于医疗、金融等涉及敏感信息的行业。本文介绍如何在自己的电脑上本地部署 DeepSeek-R1-8B 模型。
你是否还在为**「DeepSeek高阶应用」挠破头?🤯 想一键收割全网稀缺的大模型实战干货**?💡
🎯 本期**「DeepSeek高能拆解」直击核心——
✅ 从底层原理到行业顶配实战**,手撕技术黑箱!
✅ 100+前沿案例+代码级解析,小白也能秒变大神!
✅ 独家曝光**官 仲 号「拉吉卜的知识宝库」**私藏资源,助你弯道超车🚗💨
👉 关注后回复“宝库”,立刻领取**《大模型落地避坑指南》+50G算法密训包📦!
🔥 划重点:文末还有隐藏彩蛋**,错过血亏!🎯
(小声提醒:全文高能,建议备好笔记📝,随时准备“哇塞”!)
01
硬件配置要求
DeepSeek推出了多款开源模型,覆盖从推理到创作的多元场景。特别是DeepSeek-R1系列,具有低成本、高效推理的优势,可在本地部署。此外还有将R1的推理能力迁移至小型模型的知识蒸馏模型,不同版本的DeepSeek模型的硬件需求根据参数规模和应用场景具有显著差异,下面是DeepSeek R1 不同版本模型的硬件要求:
模型版本 | RAM需求 | 推荐 GPU(单卡) | 适用场景 |
---|---|---|---|
DeepSeek-R1-671B | 512GB+ | 8x A100/H100(服务器集群) | 国家级/超大规模 AI 训练,超高性能计算 |
DeepSeek-R1-70B | 128GB+ | 2x A100 80GB/4x RTX 4090(多卡并行) | 科研机构/大型企业,大规模数据分析处理 |
DeepSeek-R1-32B | 64GB+ | 2x A100 40GB(24GB显存) | 高精度专业领域任务、多模态数据分析 |
DeepSeek-R1-14B | 32GB+ | RTX 4090(24GB)/A5000(16GB显存) | 中型企业/科研团队/专业服务机构,企业级复杂任务(合同分析、报告生成)、长文本理解与生成 |
DeepSeek-R1-8B | 16GB+ | RTX 4070/3060/3070(12GB显存) | 需更高精度的轻量级任务(代码生成、逻辑推理) |
DeepSeek-R1-7B | 16GB+ | RTX 3060/3070/4060(8GB显存) | 中等复杂度的逻辑推理和生成任务、轻量级多轮对话系统 |
DeepSeek-R1-1.5B | 8GB+ | GTX 1650(4GB显存) | 低资源设备的基础推理任务,如简单问答、文本摘要、轻量级数据分析 |
模型参数越大,对显存和内存需求越高,我的电脑系统为Windows11,内存为32GB,显卡为英伟达RTX 4060,本文部署DeepSeek-R1-8B模型。
02
部署DeepSeek
2.1
安装Ollama
Ollama是运行本地AI模型的核心工具,支持一键部署,支持Windows/macOS/Linux,本文在Windows下部署:
a. 访问官网(https://ollama.com/),下载Windows版安装包OllamaSetup.exe;
b. 双击OllamaSetup.exe安装会默认安装到C盘,建议使用如下命令安装到其它盘:
$ cd D:\devWorkspace\AI_tools$ OllamaSetup.exe /DIR="D:\devWorkspace\AI_tools\Ollama"
c. 安装完成后打开终端输入 ollama -v 验证是否成功。
$ ollama -vollama version is 0.5.12
2.2
将Ollama模型保存路径设置到D盘
添加环境变量OLLAMA_MODELS ,值为:D:\devWorkspace\AI_tools\Ollama\models
2.3
让Ollama使用GPU
为了让推理跑在GPU上,可设置环境变量OLLAMA_GPU_LAYER
, 值为:cuda,如果需要指定特定的 GPU,可以添加以下环境变量
变量名:CUDA_VISIBLE_DEVICES变量值:GPU的UUID:
可在控制台窗口输入 nvidia-smi -L 命令查看GPU的UUID:
$ nvidia-smi -LGPU 0: NVIDIA GeForce RTX 4060 Laptop GPU (UUID: GPU-1ff78f94-b4af-2a60-cedf-cbaaa65beb38)
环境变量配置完成后需要重启一下电脑,让配置生效。
2.4
下载DeepSeek模型
2.4.1 下载deepseek-r1:8b
deepseek-r1各版本可在这里查看:https://ollama.com/library/deepseek-r1,使用Ollama命令行下载模型:
$ ollama pull deepseek-r1:8bpulling manifestpulling 6340dc3229b0... 100% ▕████████████████████████████████████████████████████████▏ 4.9 GBpulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏ 387 Bpulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KBpulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏ 148 Bpulling 0cb05c6e4e02... 100% ▕████████████████████████████████████████████████████████▏ 487 Bverifying sha256 digestwriting manifestsuccess
模型会下载到前面配置的目录下:D:\devWorkspace\AI_tools\Ollama\models
2.4.2 运行模型并对话
输入ollama run deepseek-r1:8b
命令,然后输入问题与DeepSeek进行对话:
$ ollama run deepseek-r1:8b>>> 请用Java语言写一个快速排序<think>嗯,我现在得想办法用Java来实现快速排序。首先,快速排序是什么呢?我记得它是基于分治策略的一种高效排序算法,平均时间复杂度大概是O(n log n)对吧。那它的基本思想应该是,每次把数组分成两部分,一半较小,一半较大,然后递归地排序这两部分,对吧。那我得先想想怎么实现这个过程。快速排序通常有几个步骤:选择枢轴元素,partition,递归排序左右子数组。那在Java中,可能需要写一个方法来处理这些步骤。首先,选择枢轴是什么呢?常见的选择是中位数或者前导元素。比如,我可以选数组中的第一个元素作为枢轴,这样实现起来简单些。那如何找到中位数呢?或许不一定需要精确找中位数,只要能保证枢轴位置正确就行。然后,partition步骤,也就是将数组分成小于等于枢轴和大于枢轴的两部分。这个过程可以用双指针来实现:一个指针从左边开始扫描找到第一个比枢轴大的元素,另一个指针从右边开始扫描找到第一个比枢轴小的元素,然后交换它们的位置。这样整个数组就被分成了两部分。接下来是递归排序左右子数组。我需要考虑如何处理这些子数组,比如确定起始和结束的索引,避免重复计算或者越界。那我得想想怎么编写这个快速排序的方法。可能是一个静态的方法,接受数组和左、右索引作为参数。然后基线情况是什么呢?比如,当左 >= 右的时候,说明子数组只包含一个或没有元素,此时不需要再进行分割了。那我可能会写出以下结构:.....
可使用 Ctrl + d 或者 /bye 退出会话。
03
安装图形化界面
使用命令行的方式不是很友好,可以安装一个WebUI,可用的交互界面有很多:
a. Page Assist浏览器插件:https://github.com/n4ze3m/page-assist
b. chatbox:https://github.com/Bin-Huang/chatbox
c. AnythingLLM:https://anythingllm.com/desktop
d. Open WebUI:https://openwebui-doc-zh.pages.dev/,需要使用docker运行
3.1
Page Assist浏览器插件
到这里下载https://github.com/n4ze3m/page-assist/releases,以Chrome插件为例,下载pageassist-1.5.3-chrome.zip,下载完成后,拖入Chrome浏览器扩展程序中。
3.2
Chatbox
到官网下载安装即可:https://chatboxai.app/zh#download
在设置中选择“Ollama API”,绑定本地模型。
3.3
AnythingLLM
AnythingLLM可用来构建私有知识库和智能问答系统,支持导入分析多种类型的文档,可以根据自己的需求创建不同的AI代理,实现高度定制化功能。
下载Windows桌面版双击安装即可:https://anythingllm.com/desktop
安装完成后选择Ollama:
配置完成后就可以进行聊天了。
可使用AnythingLLM来创建个人知识库,比如上传一个本地文档,添加到工作区,并嵌入到模型中。
*写在最后*
好啦,以上就是本期**「DeepSeek高能玩法」的全部内容!想获取更多DeepSeek和大模型的独家深度资料?🔥 快关注 官 仲 号「拉吉卜的知识宝库」**,一键解锁前沿技术解析、实战案例和进阶秘籍📚!
如果你在探索中有任何**「新发现/卡关难题」,欢迎甩到「评论区」**,和宝藏小伙伴们碰撞灵感💡!说不定你的问题会被收录到下一期专题哦~🚀
(悄悄说:关注后回复“大模型”,还能领取专属福利礼包🎁!)
更多推荐
所有评论(0)