随着DeepSeek的爆火，大家对AI大语言模型各种实践产生浓厚的兴趣，例如Deepseek本地部署，Deepseek 与RAG构建知识库等。

为了更好的帮助师生了解和使用，图书馆现开启大语言模型等相关AI应用的系列介绍，和大家一起探索。

目前允许个人本地部署的 AI 大模型有 DeepSeek、通义千问 2.5 、LLaMA 系列和 Qwen 7B 等。本期给大家介绍DeepSeek如何本地部署。

DeepSeek 使用方式介绍

1

Deepseek的常见使用方式

官方在线

网页版、APP

特点： 免费使用，易于上手，但受服务商的资源分配和网络状况影响，有数据安全风险。

本地部署

本地部署DeepSeek模型，实现本地化运行。

特点： 适合对数据隐私和安全性要求高的用户，可定制化开发，本地部署提供强大算力和稳定环境。

官方API与第三方平台API

DeepSeek官方提供API接口，允许开发者集成到应用程序或系统中。

第三方平台通过调用DeepSeek的API提供服务，功能和体验可能有差异。

特点： 适合开发者和企业用户，功能灵活，可扩展，但需技术能力。第三方平台可能提供额外功能或优化，本质上基于DeepSeek的API服务。

2

对比分析

特性 \方式

本地部署

VS

API 调用

数据安全性

本地存储，隐私性强

数据传输依赖网络，

有风险

性能表现

依赖本地硬件配置

受网络和API限制

成本投入

高， 需要购买硬件设备和维护成本

目前较低，根据服务商定价，无主动权

灵活性

高， 可定制优化

低， 依赖 API 提供商的功能

3

如何选择

适合官方在线：

希望快速体验，或使用基础文本生成和问答功能的用户。

需要本地部署：

高校科研人员：需处理敏感数据、确保隐私安全，并定制模型以满足特定科研需求

对模型性能有高要求的爱好者或专业人士： 期望尝试使用前沿知识处理复杂任务，如大规模数据分析、深度学习模型训练。

购买API或第三方平台服务：

部分高校教师：用于教学辅助，节约备课时间。

学生：解答问题、获取知识，提高学习效率。

小型创业者：无服务器和技术团队，开发测试，轻量级应用，快速集成，降低成本。

DeepSeek 本地部署实操

1

本地软硬件要求

DeepSeek 提供了多种模型版本，从轻量级到满血版，不同模型版本的硬件需求差异显著，软件要求基本一致。

硬件需求

1.5B/7B/8B 版本：

普通消费级 GPU，如 RTX 3090/4090，显存 ≥4GB。

内存建议 16GB 以上，存储空间需 50GB 以上。

14B/32B 版本：

高端 GPU，如 RTX 4090/A5000，显存 ≥16GB。

内存建议 32GB 以上，存储空间需 100GB 以上。

70B/ 671B 满血版：

大规模计算集群，如多卡 A100/H100 GPU，显存 ≥80GB。内存需 128GB 以上，存储空间需 300GB 以上。

软件要求

操作系统：

推荐 Linux；MacOS、Windows也可。

深度学习框架：

根据 DeepSeek 模型的具体要求安装相应版本 PyTorch、TensorFlow 等主流深度学习框架。

CUDA 和 CUDNN：

如果使用 NVIDIA GPU，需要安装对应的 CUDA 工具包和 CUDNN 库，以充分发挥 GPU 的性能，版本要与 GPU 驱动和深度学习框架兼容。

2

本地部署技术实现

本地部署有很多种方法，此处介绍最主流最简单的一种，5分钟即可完成本地部署。

第一步：

访问并Ollama，下载并且安装。https://ollama.com/

第二步：

选择合适的DeepSeek版本并安装，推荐R1的1.5B或7B。

https://ollama.com/library/deepseek-r1

第三步：

Windows用户需要打开命令行，

快捷键“win+R”打开后搜索“cmd”进入命令行。

Mac用户需要打开Terminal终端，

“访达-应用程序-实用工具-终端”打开。

第四步

返回Ollama页面，选择所需模型，相对应的代码会自动更新，点击复制按钮。

注：该代码既是安装指令，也是启动指令。

第五步

在命令行中/Terminal中粘贴代码后回车进行安装。

首次需要等待下载后使用。

第二次使用可通过相同步骤打开命令行/Terminal，使用相同代码启动deepseek使用。

其他本地部署方法可参考以下教程或其他热门教程学习。

https://deepseek.csdn.net/

https://www.zhihu.com/question/10714731917/answer/91100582445

https://deepseek.csdn.net/67ab1dc279aaf67875cb99cb.html

3

本地部署后微调

根据技术难度，可行性较高的两种微调方法为：

适配器微调：

在模型中插入适配器模块，只对适配器模块的参数进行微调。

https://zhuanlan.zhihu.com/p/22860127903

参数高效微调：

引入少量的可训练参数来微调模型，如 LoRA和P-Tuning。
https://deepseek.csdn.net/67c04c512e30c8639007a405.html

其他方法：

难度较高且可行性差，可根据能力自行查阅学习，包括全参数微调、分布式训练微调、量化微调、推理优化微调等。

微调建议——分阶段推进：

第一阶段：部署7B模型+LoRA微调，快速验证效果。

第二阶段：扩展至更大模型的微调。

4

Deepseek本地部署学习建议

进行轻量化的本地布置

如1.5b和7b版本。了解其大致原理和操作。

使用第三方平台初试

利用新客优惠阶段的优惠对API效果进行尝试，综合考量API效果以及费用，谨慎抉择是否需要大型的本地配置。

购买硬件和本地配置

根据需求购置硬件，并在本地完成配置，测试效果。

自升级

根据需求对系统进行微调或升级，如混合部署，本地化高频服务，API调用冷门功能，提升效率。

那么，如何系统的去学习大模型LLM？

作为一名深耕行业的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！