2025年2月6日，魔乐社区上线了DeepSeek昇腾版全家桶，献上开工大礼，包括DeepSeek-V3、R1、Janus-Pro以及基于DeepSeek-R1的6个蒸馏模型全面适配昇腾开箱部署。为了更好提升推理性能，让企业使用DeepSeek模型服务更高效，社区还提供了DeepSeek INT8量化模型，欢迎开发者从魔乐社区获取使用。

模型支持及设备选型 ​

下面以Deepseek-R1为例，演示在如何获取量化模型及部署使用。

硬件要求 ​

部署DeepSeek-R1量化模型需要Atlas 800I A2（2864GB）。本文以DeepSeek-R1为主进行介绍，DeepSeek-V3与R1的模型结构和参数量一致，部署方式与R1相同。

模型权重 ​

权重下载 ​

通过魔乐社区下载权重。

🔗 链接：魔乐社区

按需W8A8量化 （BF16 to INT8） ​

如已下载了BF16模型，可采用以下步骤进行模型量化

1. 安装ModelSlim

   

2. 运行量化命令

   

加载MindIE镜像 ​

镜像链接：魔乐社区

镜像版本：2.0.T3-800I-A2-py311-openeuler24.03-lts-x86_64

容器启动 ​

容器启动命令：

进入容器：

纯模型测试 ​

修改模型文件：

配置ranktable.json

添加环境变量：

性能测试：

例：

精度测试：

例：

服务化测试 ​

配置服务化参数：

拉起服务：

客户端测试：

更多DeepSeek模型获取链接及使用指导可参考魔乐社区DeepSeek专区。

🔗 链接：魔乐社区