一、总体方案

目前在使用 DeepSeek 在线环境时，页面经常显示“服务器繁忙，请稍后再试”，以 DeepSeek R1 现在的火爆程度，这个状况可能还会持续一段时间，所以这里给大家提供了 DeepSeek R1 +RAG 的本地部署方案。最后实现的效果是，结合本地部署的三个开源工具，包括 1Panel、Ollama、MaxKB，可以快速搭建一个本地知识库。以下总体方案及说明如下：

首先基于 GPU 服务器承载 DeepSeek-R1 大模型，其次基于 1Panel 新一代的 Linux 开源运维管理面板完成 MaxKB 和 Ollama 的安装运维管理，最后通过 Ollama 安装管理 DeepSeek-R1 模型，最后再通过 MaxKB 完成本地知识库的搭建，让企业快速构建本地 AI 知识库。

1.1 DeepSeek

DeepSeek是杭州深度求索公司开源出来的AI大模型，在一些典型的应用场景，比如智能对话、文本生成、计算推理、代码生成等场景，表现都非常不错。它有两款大模型，目前在全球都很受关注，分别是 DeepSeek-V3 和 DeepSeek-R1 两个大版本。DeepSeek 在综合能力方面，跟国外 OpenAI o1 版本大模型的性能，基本不相上下。不管是训练成本，还有使用成本，都远低于国外同类型的大模型，可以说是好用又便宜。

1.2 RAG

RAG 是 “Retrieval-Augmented Generation” 的缩写，中文可以翻译为“检索增强生成”。这是一种结合了检索（Retrieval）和生成（Generation）的自然语言处理技术，用于提高语言模型在特定任务上的性能和准确性。在加上一个数据向量和索引的工作，我们对 RAG 就可以总概方式地理解为“ 索引、检索和生成 ”。

• 检索（Retrieval）：在这个阶段，模型会从预先构建的大规模数据集中检索出与当前任务最相关的信息。这些数据集可以是文档、网页、知识库等。

• 生成（Generation）：在检索到相关信息后，模型会使用这些信息来生成答案或完成特定的语言任务。这个阶段通常涉及到序列生成技术，如基于 Transformer 的模型。
  

• 创建索引：将输入的文档切割成不同的数据块，进行向量化处理后，存储到向量数据库，并创建索引。

• 向量检索：将用户的提问信息向量化，再到向量数据库进行搜索，根据向量相似度的算法，寻找相关性最强的文档片段。

1.3 开源三件套介绍

1.3.1 1Panel：新一代的 Linux 服务器运维管理面板

通过 Web 图形界面轻松管理 Linux 服务器，实现主机监控、文件管理、数据库管理、容器管理等功能。
官方网址：https://1panel.cn/
下载地址：https://1panel.cn/docs/installation/online_installation/

1.3.2 Ollama：LLM（大型语言模型）服务管理工具

Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、DeepSeek、Qwen、Gemma 等开源的大型语言模型。
官网地址： https://ollama.com/

1.3.3 MaxKB：基于大语言模型和 RAG 的开源知识库问答系统

MaxKB = Max Knowledge Base，是一款基于大语言模型和 RAG 的开源知识库问答系统，广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。
结合 RAG 技术架构，其主要有三部分组成，分别是数据索引，数据检索和数据生成。
对于 MaxKB 来说，数据索引的过程，基本是直接由 MaxKB 服务后台完成。当用户在 MaxKB 知识库页面，上传文档后，文档被分割成不同的数据块，每个数据块经过向量化处理，再存储到向量数据库。接下来是数据检索过程，当用户向 MaxKB 应用提问时，提问信息也会被 MaxKB 后台进行向量化处理，然后从向量数据库中，搜索相似度最高的向量数据。最后是数据生成过程， MaxKB 会把向量数据库检索到结果，当成提示词丢给 AI 大模型，最后在 MaxKB 页面上输出回复信息。
更多详细内容，可以查看 MaxKB 官方网址：https://maxkb.cn/index.html
以及 MaxKB 安装包下载地址：https://maxkb.cn/docs/installation/offline_installtion/

二、具体操作说明

整个解决方案需要依赖开源三件套，并最终通过六步完成总体部署实施，最终构建本 AI 知识库。

2.1 第一步：准备服务器

首先我们需要准备一台本地 GPU 服务器，其中 GPU 主要为 DeepSeek R1 大模型提供资源，本操作步骤全部基于腾讯云的 GPU 服务器，大家可以根据自己具体情况选择本地服务器。腾讯云的 GPU 服务器在开机时，默认会自动安装好 Nvidia GPU 驱动。

当带 GPU 资源的腾讯云服务器准备好之后，如果已安装好 GPU 驱动，在服务器终端输入 nvidia-smi，可以看到以下显示信息。

2.2 第二步：安装 1Panel

浏览器访问 https://community.fit2cloud.com/#/products/1panel/downloads，下载好 1Panel 离线包安装包，并上传到腾讯云服务器的 /tmp 目录，执行 tar -xvf 命令，解压安装包。

进入安装包的解压目录，执行 bash install.sh，服务器开始安装 1Panel。

安装成功后，日志会显示 1Panel 服务的访问地址信息。

为方便 1Panel 安装其它开源工具时，能快速下载 Docker 镜像，这里需要配置 Docker 镜像加速器。/etc/docker/daemon.json 配置文件内容如下：

	{
  "registry-mirrors": [
    "https://docker.1ms.run",
    "https://proxy.1panel.live",
    "https://9f73jm5p.mirror.aliyuncs.com",
    "https://docker.ketches.cn"
  ]
}

/etc/docker/daemon.json 配置文件修改，需要 重启 Docker 服务。

接下来在 1Panel 服务器提前拉取 ollama/ollama:0.5.7 镜像，1panel/maxkb:v1.10.0-lts 镜像，可以节省在 1Panel 页面上安装 Ollama 和 MaxKB 应用的时间。

需要注意的是，Ollama 容器如果想使用服务器的 GPU 资源，操作系统需要提前安装 NVIDIA Container Toolkit，这是 NVIDIA 容器工具包。以 CentOS 7.9 操作系统为例，安装步骤如下：
1、添加 NVIDIA 的 GPG 密钥和仓库：

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo

2、安装 NVIDIA Container Toolkit：
sudo yum install -y nvidia-container-toolkit
3、重启 Docker 服务：
sudo systemctl restart docker

如果是其它操作系统，也可以参考以上步骤来安装 NVIDIA Container Toolkit。

2.3 第三步：安装 Ollama

登录 1Panel 页面，在“应用商店”，切换到“AI/大模型”，点击 Ollama 的“安装”按钮。

打开“端口外部访问”。

勾选”编辑 compose 文件”，将以下文本内容粘贴到输入框，此文件作用是，让 Ollama 容器在启动时，可以调用服务器本身的 GPU 资源。

networks:
    1panel-network:
        external: true
services:
    ollama:
        container_name: ${CONTAINER_NAME}
        deploy:
            resources:
                limits:
                    cpus: ${CPUS}
                    memory: ${MEMORY_LIMIT}
                reservations:
                    devices:
                        - driver: nvidia
                          count: all
                          capabilities: [gpu]
        image: ollama/ollama:0.5.7
        labels:
            createdBy: Apps
        networks:
            - 1panel-network
        ports:
            - ${HOST_IP}:${PANEL_APP_PORT_HTTP}:11434
        restart: unless-stopped
        tty: true
        volumes:
            - ./data:/root/.ollama

点击“确认”后，在 1Panel 页面可以看到 Ollama 应用是“已启动”状态。

浏览器访问服务器 IP:11434，可以看到 “Ollama is running” 的显示信息。

点击“容器”菜单的“日志”操作，在容器日志，可以看到 Ollama 容器已正常使用 GPU 资源。

点击“容器”菜单的“终端”操作，再点击“连接”，进入 Ollama 容器的终端命令行。

执行 ollama pull deepseek-r1:7b 命令，此命令的执行时间较长，取决于 DeepSeek 参数规模的大小。提前下载 deepseek-r1:7b 大模型的安装包到本地，方便后续在 MaxKB 页面可以快速对接deepseek-r1:7b 大模型。

由于 Ollama 官网的网速限制，ollama pull 执行过程中，deepseek-r1:7b 安装包下载速度会持续降低，可以通过 ctrl+c 中断命令，再次执行 ollama pull deepseek-r1:7b 命令，下载速度会慢慢恢复正常。这个操作过程可能会持续多次。

2.4 第四步：安装MaxKB

在 1Panel 页面的“应用商店”，切换到“AI 大模型”，点击 MaxKB 的“安装”按钮。

打开“端口外部访问”，CPU 设置为 2 核，内存设置为 4096 M。

点击“确认”后，可以看到 MaxKB 应用是“已启动”状态。

浏览器访问服务器 IP:8080，可以显示 MaxKB 应用的登录页面，即可正常使用 MaxKB 服务。默认登录信息是：
用户名：admin
密码：MaxKB@123…

2.5 第五步：对接 DeepSeek -R1 模型

在 MaxKB “模型设置”菜单，点击“添加模型”。

模型供应商选择 “Ollama”。

填写“基础信息”，包括“模型名称”，“模型类型”为“大语言模型”，“基础模型”为 “deepseek-r1:7b”，”API URL ”为 http://腾讯云服务器IP:11434/

点击“保存”后，页面显示 MaxKB 服务已正常对接 deepseek-r1:7b 本地大模型。

2.6 第六步：发布本地AI知识库

2.6.1 简单应用发布

首先发布一个简单应用，使用某高校教务管理文档为例，使用 MaxKB 创建的对话应用，完成教务问题的智能对话问答。
在 MaxKB “知识库”菜单，点击“创建知识库”。

输入“知识库名称”，“知识库描述”，选择“向量模型”，知识库类型选择“通用型”，点击“创建”。

在跳转后的页面，点击“上传文档”。

点击“选择文件”，选中本地某高校教务管理规定的 WORD 文件，点击“下一步”。

分段规则默认使用“智能分段”，点击“开始导入”。

当“文件状态”显示“成功”时，说明本地文档已正常导入到 MaxKB 知识库。

开始手动创建简单应用，在 MaxKB “应用”菜单，点击“创建应用”。

输入“应用名称”，“应用描述”，选择“应用类型”为“简单配置”，点击“创建”。

设置“AI 模型”为 MaxKB 刚才对接的 deepseek-r1:7b 本地大模型，填写“系统角色”。

添加刚才创建的“高校教务管理”知识库，填写“开场白”，打开“输出思考”，点击右上角的“保存并发布”。

在 MaxKB “应用”菜单的概览页面，点击“演示”，可以测试 MaxKB 创建的智能对话应用。

在对话应用的输入框，填写提问信息后，可以看到应用回复的内容是比较准确的。

2.6.2 高级编排应用发布

接下来，发布一个高级编排应用，使用 JumpServer 中文运维手册为例，使用 MaxKB 创建的高级应用，完成 JumpServer 运维的智能对话问答。当用户提问信息是英文时，高级应用可以将英文翻译成中文，结合 JumpServer 中文运维手册的数据，高级应用再将此中文数据自动翻译成英文，最后返回英文回复信息给用户。
工作流编排中有两个最重要的 AI 对话节点，前一个 AI 对话节点作用是把英文翻译成中文，后一个 AI 对话节点作用是把中文翻译成英文。
继续创建一个知识库，方便给工作流编排中的“AI 对话”节点使用。

输入“知识库名称”，“知识库描述”，选择“向量模型”，知识库类型选择“通用型”，点击“创建”。

点击“选择文件”，选中本地 JumpServer 运维手册的 WORD 文件，点击“下一步”。

当“文件状态”显示“成功”时，说明本地文档已正常导入到 MaxKB 知识库。

开始创建高级编排应用，在 MaxKB “应用”菜单，点击“导入应用”，选中本地 mk 文件，点击“确认”。

mk 文件导入成功后，点击“设置”按钮，进入高级编排应用的工作流编辑页面。

在工作流编辑页面，修改“问题翻译节点”的“AI 大模型”为本地部署的 DeepSeek-R1:7B ，“选择知识库”为刚才创建的 JumpServer 运维手册的知识库。

“中文-英文翻译节点”的“AI 大模型”修改为本地部署的 DeepSeek-R1:7B，打开“输出思考”的开关，先点击右上角的“保存”，再点击“发布”。

在 MaxKB “应用”菜单的概览页面，点击“演示”，可以测试 MaxKB 创建的高级编排应用。

在对话应用的输入框，填写提问信息后，可以看到应用回复的内容是比较准确的，并且可以看到DeepSeek-R1:7B 大模型的思考过程。

如果想查看腾讯云服务器 GPU 的资源使用情况，可以在服务器终端执行 nvidia-smi 命令。

教学视频：https://edu.fit2cloud.com/detail/l_67a3079ee4b0694c5a8b350e/4
相关附件：https://pan.baidu.com/s/1YfT7-tZ8hfh9CFwiJxGokA?pwd=5sae 提取码: 5sae

• DeepSeek+RAG 直播实操笔记；
• DeepSeek-R1+RAG 开源三件构建本地 AI 知识库教学PPT；
• JumpServer Assistant.mk
• JumpServer 运维安全审计系统运维手册.docx
• 高校教务管理规定.docx

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓