
DeepSeek R1模型 本地部署教程
DeepSeek本地部署流程。
DeepSeek介绍
DeepSeek,全称杭州深度求索人工智能基础技术研究有限公司,成立于2023年7月17日,是一家创新型科技公司,专注于开发先进的大语言模型(LLM)和相关技术。 今年1月20日,DeepSeek正式开源R1推理模型。
优点在于:开源并且支持本地部署,效果接近ChatGPT 有独家推理功能。
DeepSeek-R1 系列支持商业使用,允许任何修改和衍生作品,包括但不限于用于训练其他 LLM 的蒸馏。
DeepSeek R1本地部署流程
模型下载
1、下载Ollama
访问下方官网进行下载。
支持:Windows、Linux、Macos。
除Linux需要执行下方命令外其余均可直接下载。
curl -fsSL https://ollama.com/install.sh | sh
下载后直接安装即可
2、选择适合自己配置的模型,并安装。
配置正常越高你就可以选择更好的模型进行部署,否则只能选择蒸馏后的简化模型体验
下面分别整理了不同模型的推荐配置要求和部署命令。 (仅供参考)
模型名称 | 显卡(GPU) | CPU | 运行内存 | 硬盘 |
---|---|---|---|---|
R1-Zero | RTX 4090(24GB) | Xeon 8核心 | 128GB | 1T |
R1蒸馏版-70B | RTX 3090(24GB) | i9-13900K | 64GB | 500G |
R1蒸馏版-14B | RTX 3060(12GB | Ryzen 7 | 32GB | 100G |
R1蒸馏版-1.5B | \ | 四核处理器 | 8GB | 12G |
模型部署命令
R1-Zero全量模型 (推荐极高配置来使用)
ollama run deepseek-r1:671b
DeepSeek-R1-Distill-Qwen-1.5B (R1蒸馏版-1.5B)普通配置电脑 笔记本直接选这款
ollama run deepseek-r1:1.5b
DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b
DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b
DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
可以根据自己的电脑配置来选择合适的模型进行部署,部署成功后会出现success提示,然后可以在终端中测试对话
模型下载
1、下载Ollama
访问下方官网进行下载。
支持:Windows、Linux、Macos。
除Linux需要执行下方命令外其余均可直接下载。
curl -fsSL https://ollama.com/install.sh | sh
下载后直接安装即可
2、选择适合自己配置的模型,并安装。
配置正常越高你就可以选择更好的模型进行部署,否则只能选择蒸馏后的简化模型体验
下面分别整理了不同模型的推荐配置要求和部署命令。
模型名称 | 显卡(GPU) | CPU | 运行内存 | 硬盘 |
---|---|---|---|---|
R1-Zero | RTX 4090(24GB) | Xeon 8核心 | 128GB | 1T |
R1蒸馏版-70B | RTX 3090(24GB) | i9-13900K | 64GB | 500G |
R1蒸馏版-14B | RTX 3060(12GB | Ryzen 7 | 32GB | 100G |
R1蒸馏版-1.5B | \ | 四核处理器 | 8GB | 12G |
模型部署命令
R1-Zero全量模型 (推荐极高配置来使用)
ollama run deepseek-r1:671b
DeepSeek-R1-Distill-Qwen-1.5B (R1蒸馏版-1.5B)普通配置电脑 笔记本直接选这款
ollama run deepseek-r1:1.5b
DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b
DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b
DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
可以根据自己的电脑配置来选择合适的模型进行部署,部署成功后会出现success提示,然后可以在终端中测试对话,如下图所示。
WEB UI体验
chrome浏览器 或edge浏览器扩展商店中搜索Page Assist 安装即可,安装后可在浏览器打开扩展插件进行使用。
更多推荐
所有评论(0)