
想私有化部署自己的DeepSeekAI助手,你的GPU够用吗?一文教你如何使用云端GPU快速上手!
本文介绍如何将 DeepSeek-R1 开源模型部署到 GPU 云服务器,在 GPU 云服务器上安装与配置 Ollama 和 Open WebUI。
本文介绍如何将 DeepSeek-R1 开源模型部署到 GPU 云服务器,在 GPU 云服务器上安装与配置 Ollama 和 Open WebUI。
引言
随着DeepSeek的热度不断攀升,关于如何复现或部署DeepSeek的文章层出不穷。无论是直接在官网使用,还是通过三方平台调用,无论是API接入亦或是本地及云端部署,归根结底还是在根据具体的情况从性能、费用和安全性的不可能三角中寻找平衡。
对大多数普通用户来说,第三方平台提供的网页、客户端和 API 服务可能是最便捷的选择。
对于那些希望进一步自主部署但资源有限,并且需要推理加速和支持并发的用户,更便捷的云上一键部署方案是理想选择。这种方案开箱即用,具备弹性可伸缩和充足的算力优势,允许用户基于私有数据进行模型微调和参数调整,以适配垂直领域的需求。
基于函数计算部署 DeepSeek 模型,支持 Ollama/Transformers 等框架,并能构建多样化的模型对话界面,如 OpenWebui 和 ChatGPTNext。对于技术爱好者,试图做出更多尝试并且期望获得完全自主可控大模型的用户,使用 GPU 部署可以根据需求自定义环境配置,例如安装特定版本的 CUDA 和深度学习框架等。
部署效率与易用性
云端部署无需复杂的环境配置和硬件搭建,简单几步,最快 10 分钟就能快速实现不同尺寸的 DeepSeek 模型部署和应用。
模型部署
本文介绍如何将 DeepSeek-R1 开源模型部署到 GPU 云服务器,在 GPU 云服务器上安装与配置 Ollama 和 Open WebUI。Ollama 负责托管 DeepSeek-R1 模型,Open WebUI 则为用户提供友好的交互界面。
本文以 DeepSeek-R1-Distill-Qwen-7B 为例进行演示,该版本是一个通过知识蒸馏技术从小型化模型中提取推理能力的高性能语言模型。它是基于 DeepSeek-R1 的推理能力,通过蒸馏技术将推理模式迁移到较小的 Qwen 模型上,从而在保持高效性能的同时降低了计算成本。用户可以根据实际需求选择其他参数规模的 DeepSeek-R1 模型,并相应调整实例规格配置。
我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓
方案架构
按照本方案提供的配置完成部署后,会在阿里云上搭建一个如下图所示的运行环境。实际部署时,您可根据具体的资源规划调整部分配置,但最终的运行环境将与下图展示的架构相似。
环境准备
在开始部署模型之前,需要进行一系列的环境准备工作。这些步骤包括创建专有网络 VPC 和交换机、配置安全组、创建 GPU 云服务器实例。
一、创建专有网络 VPC 和交换机
您需要创建专有网络 VPC 和交换机,为云服务器 ECS 实例构建云上的私有网络。
-
登录专有网络管理控制台[1]。
-
在顶部菜单栏,选择华东 1(杭州)地域。
-
在左侧导航栏,单击专有网络。
-
在专有网络页面,单击创建专有网络。
-
在创建专有网络页面,配置 1 个专有网络和 1 台交换机。配置交换机时,请确保交换机所属的可用区的 ECS 处于可用状态。
二、创建安全组
您已经创建了专有网络 VPC 和交换机。接下来您需要创建 1 个安全组,用于限制该专有网络 VPC 下交换机的网络流入和流出。
-
登录ECS 管理控制台[2]。
-
在左侧导航栏,选择网络与安全>安全组。
-
在顶部菜单栏,选择华东 1(杭州)地域。
-
在安全组页面,单击创建安全组。
-
在创建安全组页面,创建 1 个安全组。
三、创建 GPU 云服务器
您已经创建好专有网络 VPC 和交换机等资源。接下来您需要创建 1 个 GPU 云服务器实例,用于部署应用程序。
-
登录ECS 管理控制台[2]。
-
在左侧导航栏,选择实例与镜像 > 实例。
-
在顶部菜单栏,选择华东 1(杭州)地域。
-
在实例页面,单击创建实例。
-
下表中未说明的参数,在本方案中可使用默认值。
应用部署
接下来我们使用 Ollama 框架来部署 DeepSeek-R1 模型,使用 Open WebUI 调用模型服务。
一、登录服务器
-
登录 ECS管理控制台[2]。
-
在左侧导航栏,选择实例与镜像>实例。
-
在顶部菜单栏,选择华东1(杭州)地域。
-
部署示例应用程序。
-
在实例页面,找到前面步骤中创建的 ECS 实例,查看IP 地址列,记录公网 IP ,然后在其右侧操作列,单击远程连接。
-
在远程连接对话框的通过 Workbench 远程连接区域,单击立即登录,然后根据页面提示登录。
-
输入密码并点击确定按钮,通过 Workbench 远程连接至 ECS 控制台。
-
如图所示 GPU 驱动尚未完成安装,请等待 10-20 分钟,安装完成后实例将自动重启。
我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓
二、部署 Ollama
- 执行以下命令部署 Ollama 模型服务。
curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-r1-for-platforms/ollama_install.sh|sh
2. 如下图所示,说明 Ollama 部署完成。
- 执行以下命令拉取模型。
ollama pull deepseek-r1:7b
- 执行以下命令,运行模型,运行成功后,在键盘上敲击两次回车键。
ollama run deepseek-r1:7b &
三、部署 Open WebUI
- 执行以下命令部署 Open WebUI 应用。
curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-r1-for-platforms/install.sh|sh
2. 部署完成后,可以看到控制台中输出Installation completed。
应用体验
一、访问示例应用
- 在浏览器中访问http://<ECS公网IP>:8080,访问 Open WebUI。
说明
请将 <ECS公网IP> 更改为应用部署步骤记录的公网 IP。
二、与模型对话
- 在文本输入框中可以进行对话交互。输入问题你是谁?或者其他指令后,调用模型服务获得相应的响应。
三、使用 Chatbox 客户端配置 Ollama API 进行对话(可选)
- 访问 Chatbox 下载地址[5]下载并安装客户端,本方案以 macOS 为例。
- 运行并配置 Ollama API ,单击设置。
- 下拉选择模型提供方Ollama API,填写 API 域名 http://<ECS公网IP>:11434,下拉选择模型deepseek-r1:7b,最后单击保存。
- 在文本输入框中可以进行对话交互。输入问题你是谁?或者其他指令后,调用模型服务获得相应的响应。
完成及清理
清理资源
-
释放 1 台 GPU 云服务器实例:登录ECS 控制台[2],在实例页面,找到目标实例,然后在操作列选择
>释放,根据界面提示释放实例。
-
删除 1 个安全组:登录ECS 控制台[2],在安全组页面,选择目标安全组,然后在操作列单击删除。
-
释放 1 台交换机:登录专有网络控制台[4],在交换机页面,找到目标交换机,然后在操作列单击删除,按照界面提示释放实例。
-
释放 1 个专有网络 VPC:登录专有网络控制台[1],在专有网络页面,找到目标 VPC,然后在操作列单击删除,按照界面提示释放实例。
如何学习AI大模型 ?
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料。包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓
👉1.大模型入门学习思维导图👈
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程扫描领取哈)
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程扫描领取哈)
👉4.大模型落地应用案例PPT👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程扫描领取哈)
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程扫描领取哈)
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程扫描领取哈)
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习
这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓
更多推荐
所有评论(0)