本地内网，部署Ollama与DeepSeek-R1大模型实践指南

参数规模为15亿，模型大小约4GB。：参数规模为70亿，模型大小约15GB。：参数规模为80亿，模型大小约16GB。：参数规模为140亿，模型大小约30GB。：参数规模为320亿，模型大小约75GB。：参数规模为700亿，模型大小约140GB。这些子模型在满足不同应用场景需求的同时，也为个人部署提供了更多选择。

猿类崛起@

1711人浏览 · 2025-02-25 11:40:43

猿类崛起@ · 2025-02-25 11:40:43 发布

像DeepSeek-R1这样的大型模型，其在自然语言处理等领域展现出的强大能力，可以说，为众多开发者和企业带来了无限可能。

而本文也将详细阐述如何在本地内网环境中，借助Docker技术部署Ollama以及基于DeepSeek-R1蒸馏的六款子模型，助力开发者高效利用这些强大工具。

一、DeepSeek-R1模型概述

DeepSeek-R1模型具有6710亿参数，模型大小约为720GB，其蒸馏后的六款子模型在参数规模和模型大小上各有差异，具体如下：

DeepSeek-R1-Distill-Qwen-1.5B：参数规模为15亿，模型大小约4GB。
DeepSeek-R1-Distill-Qwen-7B：参数规模为70亿，模型大小约15GB。
DeepSeek-R1-Distill-Llama-8B：参数规模为80亿，模型大小约16GB。
DeepSeek-R1-Distill-Qwen-14B：参数规模为140亿，模型大小约30GB。
DeepSeek-R1-Distill-Qwen-32B：参数规模为320亿，模型大小约75GB。
DeepSeek-R1-Distill-Llama-70B：参数规模为700亿，模型大小约140GB。

这些子模型在满足不同应用场景需求的同时，也为个人部署提供了更多选择。

二、本地内网部署Ollama

（一）服务器配置要求

为了确保Ollama能够顺利运行并支持DeepSeek-R1大模型的部署，本地服务器需要满足以下配置要求：

操作系统：推荐使用Ubuntu 22.04，可从Ubuntu官方镜像下载地址获取。
内存：至少64GB。
Python版本：推荐使用3.10.12或3.12.3，这两个版本均已通过测试。
CUDA版本：12.4。
GPU驱动：NVIDIA-Linux-x86_64-550.142。
GPU：NVIDIA GeForce RTX 3090 24GB × 2。

（二）Ollama镜像的下载与加载

在一台能够联网的服务器上，通过以下命令下载Ollama镜像，并将其导出为.tar文件：

docker pull ollama``docker images``docker save -o ollama-latest.tar ollama/ollama:latest

接着，在本地内网环境中，使用以下命令加载Ollama镜像：

docker load < ollama-latest.tar

（三）启动Ollama容器

启动Ollama容器时，需要指定相关参数以确保其能够充分利用本地资源并正常运行，命令如下：

docker run -d --privileged --gpus all --restart always -e OLLAMA_SCHED_SPREAD=1 -v /data/ollama:/root/.ollama -p 8003:11434 --shm-size 12G --name ollama ollama/ollama

其中，-v /data/ollama:/root/.ollama表示将容器内的/root/.ollama目录挂载到宿主机的/data/ollama目录，用户需根据实际情况填写正确的目录路径。

（四）进入Ollama容器

通过以下命令进入Ollama容器：

docker exec -it ollama bash

（五）Ollama常用命令

Ollama提供了丰富的命令，方便用户进行模型管理和服务管理等操作，以下是一些常用命令：

模型管理类：
ollama run <model>：下载并运行指定模型，例如ollama run llama2会自动下载并启动LLaMA 2模型。
ollama pull <model>：仅下载模型而不运行，例如ollama pull mistral。
ollama list：查看本地已有的模型列表。
ollama rm <model>：删除指定模型，例如ollama rm llama2。
ollama cp <source_model> <destination_model>：复制模型，例如ollama cp llama3 my-model。
ollama push <model>：将模型推送到注册仓库。
ollama create <model_name> -f <Modelfile>：从Modelfile创建模型，例如ollama create my-model -f Modelfile。
服务管理类：
ollama serve：启动Ollama服务。
ollama ps：列出正在运行的模型。
其他：
ollama show <model>：显示指定模型的信息。
ollama help：获取关于任何命令的帮助。

这些命令能够帮助用户更加便捷地管理和使用Ollama模型，充分发挥其在本地内网环境中的优势。

三、本地内网部署DeepSeek-R1大模型

（一）获取DeepSeek-R1模型地址

在部署DeepSeek-R1大模型之前，需前往Ollama官网查看其模型地址，具体地址为：https://ollama.com/library/deepseek-r1:14b。

（二）安装并启动DeepSeek-R1:14B模型

通过以下命令安装并启动DeepSeek-R1:14B模型：

ollama run deepseek-r1:14b

该命令的执行时间取决于网络状况，可能需要等待一段时间。下载完成后，DeepSeek-R1大模型将成功启动。

（三）查看已启动模型

为了确认模型是否已成功启动，可以执行以下命令查看已启动的模型：

ollama list

当看到DeepSeek-R1模型出现在列表中时，便意味着Ollama已成功启动该模型，本地内网部署工作至此圆满完成。

通过上述步骤，开发者可以在本地内网环境中顺利部署Ollama及DeepSeek-R1大模型，进而充分利用这些强大工具为自身项目赋能，推动企业级应用开发、大模型应用开发以及AI应用开发等各类软件项目的顺利开展。

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述