在自然语言处理领域,DeepSeek R1 模型以其强大的性能吸引着众多开发者。本文将为你提供一种超简单、快速的方法,让你在本地运行 DeepSeek R1 模型。

准备工作

硬件要求

  • CPU:建议使用多核高性能 CPU,如 Intel Core i7 及以上系列,或 AMD Ryzen 7 及以上系列,以确保有足够的计算能力。

  • 内存:至少 16GB 系统内存,若模型较大,建议 32GB 及以上,避免因内存不足导致运行缓慢或崩溃。

  • GPU:如果有 NVIDIA GPU 会极大提升运行速度,建议使用 NVIDIA GeForce RTX 30 系列及以上,且需要安装对应的 CUDA 驱动。

LM Studio

官网下载:https://lmstudio.ai/

百度网盘:https://pan.baidu.com/s/1vMU-k4jcKc1OL8MDSohEGw?pwd=hqs3

直接下载:【Windows版】

直接下载:【masOS版】

以Windows版举例,下一步直到安装完成即可

安装完成以后进行以下步骤:

1.选择设置,设置语言类型为中文然后LM Studio 更新通道选择测试版

完成以后点击搜索模型​​​​​​​

就能出现你想要的模型啦

无法加载模型解决方案:

国内有可能无法访问https://huggingface.co/这里提供两种解决方案

1.本地下载国内

地址:https://hf-mirror.com

选择你需要的 DeepSeek 模型版本,例如 deepseek-ai 下滑找到DeepSeek-R1-Distill Models根据自己电脑配置来选择模型

下面是不同模型需要的电脑配置,自己自行参考

模型名称 最低 CPU 配置 最低内存配置 推荐 GPU 配置(可选) 存储需求
DeepSeek - R1 - Distill - Qwen - 1.5B
Qwen2.5 - Math - 1.5B
Intel Core i5 8 代及以上或 AMD Ryzen 5 同等性能 8GB 无需(若需加速可使用 NVIDIA GTX 1060 6GB) 约 3GB
DeepSeek - R1 - Distill - Qwen - 7B
Qwen2.5 - Math - 7B
Intel Core i7 9 代及以上或 AMD Ryzen 7 同等性能 16GB NVIDIA RTX 2080 Ti 或 AMD Radeon VII 约 14GB
DeepSeek - R1 - Distill - Llama - 8B
Llama - 3.1 - 8B
Intel Core i7 10 代及以上或 AMD Ryzen 7 同等性能 16GB NVIDIA RTX 3070 及以上 约 16GB
DeepSeek - R1 - Distill - Qwen - 14B
Qwen2.5 - 14B
Intel Xeon E5 - 2600 v4 及以上系列或 AMD EPYC 同等性能 32GB NVIDIA RTX 3090 或 NVIDIA A100(单卡) 约 28GB
DeepSeek - R1 - Distill - Qwen - 32B
Qwen2.5 - 32B
Intel Xeon Platinum 8200 系列及以上或 AMD EPYC 同等性能 64GB 两张 NVIDIA A100 或同等性能多卡组合 约 64GB
DeepSeek - R1 - Distill - Llama - 70B
Llama - 3.3 - 70B - Instruct
高端服务器 CPU,如 Intel Xeon Platinum 8300 系列及以上或 AMD EPYC 7003 系列及以上 128GB 及以上 四张 NVIDIA A100 或同等性能多卡集群 约 140GB

配置说明

  1. CPU:主要用于模型推理过程中的计算,性能越高,推理速度越快。对于较小的模型,消费级 CPU 可以满足基本需求;而对于较大的模型,需要服务器级 CPU 提供足够的核心数和计算能力。

  2. 内存:用于加载模型权重和处理推理过程中的数据。模型越大,所需的内存就越多。

  3. GPU:使用 GPU 可以显著加速模型的推理过程。对于较小的模型,GPU 并非必需,但对于较大的模型,建议使用高端 GPU 或多 GPU 集群。

  4. 存储需求:用于存储模型文件,包括权重、配置文件等。不同大小的模型所需的存储空间不同,需要确保硬盘有足够的可用空间。

下载完成以后找到模型路径然后放进去

这里注意模型路径需要创建两个文件夹才能把模型放进去,名字随便

比如说我Lm Studio的路径为D:\SeekPaal

那我存放模型目录的地址需要多两个文件夹

D:\SeekPaal\bartowski\DeepSeek-R1-Distill-Qwen-32B-GGUF

要是嫌麻烦我网盘给大家下好了直接去网盘下就好了

百度网盘:

2.修改文件参数,实现本地下载

1.找到LmStudio图标右击选择打开文件所在位置

找到文件右击打开、:自己安装路径\LM Studio\resources\app\.webpack\main\index.js

拿我的举例,我的安装路径就是D:\Users\Admin\AppData\Local\Programs\LM Studio\resources\app\.webpack\main\index.js

找到所以含huggingface.co/的替换为hf-mirror.com

然后在找到D:\Users\Admin\AppData\Local\Programs\LM Studio\resources\app\.webpack\renderer\main_window.js

一样找到所以含huggingface.co的替换为hf-mirror.com

完成以后你就可以在搜索里面找到模型了

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐