前言

为什么要离线部署，好处有: 1.数据安全，可以部署自己私有大模型，避免数据泄露。2.可以进行功能定制，实现更多自定义的功能。3.随时随地可用，无需联网。

之前给大家分享利用python代码来部署DeepSeek-R1模型: 【好强！在数学领域 1.5B参数超过GPT-4o!】Deepseek-R1开源啦！本文实战部署推理代码，效果着实惊艳！由不少小伙伴反馈说python代码需要配置各种库环境比较麻烦，有没有傻瓜式的部署方式，有！

今天我将手把手带大家部署大模型(以DeepSeek R1大模型为例子)，分别实操部署在linux端、windows端 、手机安卓端；下面进入今天的主题~

本文目录

• linux端部署: DeepSeek-R1离线部署到电脑linux系统

• ollama支持的显卡型号介绍

• 第1步: 下载ollama

• 第2步: 下载DeepSeek-R1大模型

• 第3步: 运行DeepSeek-R1大模型进行推理聊天

• windows系统部署: DeepSeek-R1离线部署到电脑windows系统

• 第1步: 下载ollama.exe软件到本地进行安装

• 第2步：修改ollama的路径和模型路径

• 第3步：下载DeepSeek-R1模型

• 第4步：运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

• 安卓手机离线部署: DeepSeek-R1离线部署到安卓手机上

• 第1步: 下载termux软件

• 第2步: 配置ollama软件运行环境

• 第3步:下载deepseek-R1模型

• 第4步:运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

• 参考链接

linux端部署: DeepSeek-R1离线部署到电脑linux系统

本文主要是使用ollama在linux端、windows端、安卓端分别实现离线部署大模型，以DeepSeek-R1大模型为例;也可以是其他大模型。如果你有显卡资源当然是最好的，可以对模型进行加速！

ollama支持的显卡型号介绍

A卡支持的型号汇总

目前ollama关于AMD显卡支持的型号如下:

N卡支持的型号汇总

cuda支持的显卡:Ollama 支持计算能力 5.0 及以上的 Nvidia GPU;如何查看自己的显卡对应的计算能力，可以查看nvidia的官网:https://developer.nvidia.com/cuda-gpus

第1步: 下载ollama

!sudo apt install pciutils  lshw -y   !curl -fsSL https://ollama.com/install.sh | sh # 执行该命令会自动安装ollama，会自动检查是否存在GPU资源。   !ollama -v   

安装完成后，输出对应的版本信息如下:

第2步: 下载DeepSeek-R1大模型

你可以下载其他任何大模型，这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-7B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.

!ollama serve & #开启ollama服务默认后台运行      !ollama pull deepseek-r1:7b #如何查找对应ollama模型名称, 查看网址:https://ollama.com/library/deepseek-r1:1.5b   !ollama list   

安装完成后，输出的效果如下:

查看 deepseek-r1:7b模型的信息:

第3步: 运行DeepSeek-R1大模型进行推理聊天

方式1: 在命令行中直接进行对话聊天

    # 直接在命令行中输入   ollama run deepseek-r1:7b    

就可以直接进行对话聊天啦

方式2: 通过openai库来进行调用DeepSeek-R1大模型进行推理聊天

!pip install openai   """   首先确保ollama serve命令已经启动，可以通过下面的命令验证   # 方式1:   !lsof -i -P -n | grep ollama   # 输出的结果如下:   ollama    452 root    3u  IPv4  49029      0t0  TCP 127.0.0.1:11434 (LISTEN)   ollama    452 root   17u  IPv4  54015      0t0  TCP 127.0.0.1:11434->127.0.0.1:56014 (ESTABLISHED)      # 方式2   !curl http://127.0.0.1:11434/   # Ollama is running   """   from openai import OpenAI    def ollama_deepseek_r1_infer(query):       client = OpenAI(           base_url = 'http://127.0.0.1:11434/v1', # 注意这块ollama serve 启动默认的地址和端口           api_key='ollama', # required, but unused       )       response = client.chat.completions.create(         model="deepseek-r1:7b",         messages=[            {"role": "user", "content": query}         ],         temperature=0.7,           top_p=0.8,           max_tokens=4096,           extra_body={               "repetition_penalty": 1.05,           },           stream=True  # 启用流式响应       )       # 逐块打印响应       for chunk in response:           if chunk.choices[0].delta.content:  # 检查是否有内容               print(chunk.choices[0].delta.content, end="", flush=True)   

执行的效果如下:

就可以尽情的玩耍啦！如果你有更多的内存和显卡资源，可以下载8B,32B等更大版本的模型~

windows系统部署: DeepSeek-R1离线部署到电脑windows系统

这里给大家介绍如何快速将 DeepSeek-R1大模型部署在windows系统中。

第1步: 下载ollama.exe软件到本地进行安装

进入https://ollama.com/download/windows页面，点击download进行下载，注意需要windows10及以上的系统；下载完成后，点击安装。注意这块软件默认安装是在C盘。下载的模型权重也在C盘。

第2步：修改ollama的路径和模型路径

为了长久使用ollama,需要将ollama路径移动到其他盘路径下; 步骤如下；

将默认安装C盘的ollama路径移动到其他盘中

1. 找到已安装好ollama软件对应的路径，将其整体剪切复制到F:\ollama下面(你可以切换到其他盘)

添加环境变量 ：

• 右键点击“此电脑”或“我的电脑”，选择“属性”。

• 进入“高级系统设置” -> “环境变量”。

• 在“系统变量”部分，找到 Path，点击“编辑”。

• 添加一个新的路径，指向 Ollama 的解压目录（例如 D:\Ollama）。

• 点击“确定”保存更改。

修改ollama模型下载的路径

Ollama 默认会将模型文件存储在系统的用户目录下（例如 C:\Users<用户名>.ollama）。如果你希望修改模型存储路径，可以按照以下步骤操作：

• 创建新的存储目录 ：在目标磁盘上创建一个新的文件夹，例如 D:\Ollama\Models。

• 设置环境变量 ：

1. 按照上述方法进入“环境变量”设置。

2. 新建一个系统变量，名称为 OLLAMA_MODELS，值为你希望的模型存储路径（例如 D:\Ollama\Models）。

3. 点击“确定”保存。

4. 验证配置 ：启动 Ollama 并加载模型时，检查新路径是否生效。这是我修改的位置:

第3步：下载DeepSeek-R1模型

你可以下载其他任何大模型，这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. 打开windows系统的cmd命令窗口;

拉取deepseek-r1:1.5b模型:

!ollama pull deepseek-r1:1.5b   !ollama list   

执行的效果如下:

第4步：运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

!ollama run deepseek-r1:1.5b --verbose   

在windows下执行的效果，可以看出1.5B的模型在我windows电脑上，每秒平均37个token.

到此就可以愉快的玩耍啦~

安卓手机离线部署: DeepSeek-R1离线部署到安卓手机上

这里我将给大家介绍如何将DeepSeek-R1大模型部署到安卓手机上，这里主要是利用termux+ollama来实现部署到安卓手机中。

第1步: 下载termux软件

访问https://github.com/termux/termux-app/releases/tag/v0.118.1页面，下载termux-app_v0.118.1+github-debug_arm64-v8a.apk;我这边是之前的旧手机Redmi Note 7pro;

第2步: 配置ollama软件运行环境

访问手机目录

# 在termux中访问手机的目录文件   termux-setup-storage   ls storage/downloads/   

在termux中执行的效果，这是我手机的Download下对应的文件

安装对应的运行环境

# 先来安装proot-distro   pkg install proot-distro      # 使用proot-distro安装一个ubuntu   proot-distro install ubuntu   # 安装成功后通过login命令就直接进入ubuntu，为发行版启动一个root shell   #proot-distro login ubuntu   proot-distro login ubuntu --bind "${HOME}/storage:/mnt/storage"   

执行完成后，可以看出其已经成功进入ubuntu虚拟环境中并具备root全智贤

安装ollama软件

curl -fsSL https://ollama.com/install.sh | sh      ollama  serve & #让ollama服务在后台运行   # 安装完毕可以查看ollama版本进行验证，出现版本号之后就可以使用ollama   ollama -v   

最后输出的效果:

第3步:下载deepseek-R1模型

你可以下载其他任何大模型，这里以deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B模型为例子,详情见:https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.拉取deepseek-r1:1.5b模型:

!ollama pull deepseek-r1:1.5b   !ollama list   

最后执行的效果如下:

第4步:运行DeepSeek-R1 蒸馏1.5B模型进行推理聊天

ollama run deepseek-r1:1.5b   

我的小米redmi note7pro手机的执行效果如下:

DeepSeek-R1大模型爆火，由于性能出众而倍受好评。但是也迎来一个不争的事实，当DeepSeek-R1有板有眼回答你的问题(例如通过列举错误的文献、数据、表格来佐证你的问题时)，你是否能够一眼发现它是错误的呢？23年大模型刚出来的时候，大模型性能差，一顿乱说，你可以轻松知道模型幻觉严重。那现在呢？以后如何准确评估模型回答是否正确将是一件非常难、并且耗时的事情。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！