今天给大家分享deepseek的本地部署教程，有需要的朋友可以留言交，可以提供本地部署及服务器资源监控。

本教程所用到的ollama软件包+deepseek使用技巧资源包获取方式：

在这里插入图片描述

一、部署Ollama（多平台选择安装）

Ollama 支持 Linux/macOS/Windows，需根据系统选择安装方式。

1. Linux 系统部署

适用系统：Ubuntu/Debian/CentOS 等

步骤：

  1. 一键安装：

    curl -fsSL https://ollama.com/install.sh | sh

  2. 权限配置（避免 sudo 运行）：

    sudo usermod -aG ollama $USER  # 将当前用户加入ollama组  
newgrp ollama                  # 刷新用户组

  3. 启动服务：

    systemctl start ollama         # 启动服务  
systemctl enable ollama        # 开机自启

  4. 验证安装：

    ollama --version               # 输出版本号即成功
2. macOS 系统部署

步骤：

  1. 一键安装：

    curl -fsSL https://ollama.com/install.sh | sh

  2. 启动服务：

    ollama serve                   # 前台运行（调试用）

  • 或通过 Launchd 后台服务：

    brew services start ollama  # 通过Homebrew管理
3. Windows 系统部署

前置要求：

  • Windows 10/11 64位

  • 已安装 WSL2（推荐Ubuntu发行版）

步骤：

  1. 下载安装包：Ollama Windows Installer

  2. 下载后进行双击安装

  3. 验证安装：

    ollama list                    # 查看已安装模型

💬

如何配置远程 Ollama 服务？

默认情况下，Ollama 服务仅在本地运行，不对外提供服务。要使 Ollama 服务能够对外提供服务，你需要设置以下两个环境变量：

如果 Ollama 作为 systemd 服务运行，应使用 systemctl 设置环境变量：

  • 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。

  • 在 [Service] 部分下为每个环境变量添加一行 Environment：

[Service]  
Environment="OLLAMA_HOST=0.0.0.0"  
Environment="OLLAMA_ORIGINS=*"
  • 重新加载 systemd 并重启 Ollama：
systemctl daemon-reload  
systemctl restart ollama

二、拉取并运行DeepSeek模型

官方模型库参考：Ollama DeepSeek-R1 页面

1. 拉取模型
ollama pull deepseek-r1          # 官方推荐模型名称

  • 模型规格选项（按需选择）：

    ollama pull deepseek-r1:7b     # 7B参数基础版  
ollama pull deepseek-r1:33b    # 33B参数进阶版（需更高显存）

2. 运行模型
ollama run deepseek-r1

验证交互：

>>> 你好，请用中文回答  
你好！我是DeepSeek-R1，很高兴为您提供帮助！

三、不同硬件场景配置说明

根据硬件资源选择运行模式：

场景1：纯CPU运行

适用情况：无独立显卡或显存不足

配置优化：

  1. 限制线程数（避免资源耗尽）：

    OLLAMA_NUM_THREADS=4 ollama run deepseek-r1  # 限制4线程

  2. 使用量化模型（减少内存占用）：

    ollama pull deepseek-r1:7b-q4_0             # 4-bit量化版

  3. 内存要求：

  • 7B模型：至少8GB空闲内存

  • 33B模型：至少32GB空闲内存

场景2：CPU+GPU混合运行

适用情况：有NVIDIA显卡（需CUDA支持）

配置步骤：

  1. 安装驱动：
  • 安装 NVIDIA驱动 和 CUDA Toolkit 12.x

  1. 启用GPU加速：

    ollama run deepseek-r1 --gpu              # 强制使用GPU

  2. 显存要求：

  • 7B模型：至少6GB显存

  • 33B模型：至少20GB显存

  1. 性能监控：

    nvidia-smi               # 查看GPU利用率

四、AI问答应用接入本地大模型

方式1：部署MaxKB并接入Ollama

1. 通过Docker部署MaxKB
docker run -d \  
  --name=maxkb \  
  -p 8080:8080 \  
  -v ~/maxkb_data:/var/lib/postgresql/data \  
  1panel/maxkb:latest
  • 访问 http://localhost:8080，默认账号密码 admin/MaxKB@123…
2. 配置Ollama模型接入

  1. 进入MaxKB控制台：模型管理 > 添加模型

  2. 填写参数：

  • 模型类型：Ollama

  • 模型名称：DeepSeek-r1

  • Base URL：http://ollama主机ip:11434（Docker内访问宿主机）

  • 模型名称：deepseek-r1（与Ollama拉取的模型名一致）

3. 创建应用并测试问答功能

方式2：本地安装chatBox AI并接入本地大模型
1、下载安装包

  1. 访问 GitHub Releases 页面：ChatBox Releases!ChatBox Releases页面

  2. 选择 Windows 版本：

2、安装 ChatBox
  1. 运行安装程序：
  • 双击下载的 .exe 文件，按提示完成安装。
3、基础配置
3.1. 连接 本地模型

  1. 确保 Ollama 服务已运行。

  2. 在 ChatBox 设置中选择 **ollama api**，填写：

  • API Endpoint: http://localhost:11434

  • API Key: 留空

  • Model Name: deepseek-r1（与 Ollama 模型名称一致）

3.2 可以自定义界面

3.3 验证使用

五、常用的故障排查方法

1. Ollama服务无法启动

  • 日志查看：

    journalctl -u ollama -f   # Linux

  • 端口冲突：修改Ollama端口：

    OLLAMA_HOST=0.0.0.0:11435 ollama serve  # 指定新端口
2. 模型加载失败

  • 重新初始化：

    ollama rm deepseek-r1 && ollama pull deepseek-r1
3. MaxKB连接超时

  • 检查网络：

    curl http://ollama-ip:11434  # 确认Ollama API可达

  • 跨域问题：在Ollama启动时添加：

    OLLAMA_ORIGINS="*" ollama serve

六、性能优化建议

场景 推荐配置
CPU模式 使用
GPU模式 启用

七、AI服务器性能监控

我使用zabbix+grafana对服务器做了资源使用情况的监控，因为我的服务器没有GPU，全部使用CPU去跑，当我运行大模型的时候，可以看到服务器资源站哟比较高（目前我测试用的的Deepseek-r1:7b）

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

# 人工智能 # AI
Logo
DeepSeek技术社区

欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。

更多推荐

cover

DeepSeek本地部署全攻略：保姆级教程带你轻松上手

avatar DeepSeek技术社区
cover

或许是全网最全的 DeepSeek 使用指南，90% 的人都不知道的使用技巧

avatar DeepSeek技术社区
cover

function call介绍和实现（以DeepSeek为例）

avatar DeepSeek技术社区