海光DCU BW1100硬核实测：Qwen3.5-122B-A10B FP8 vs FP16精度对比，精度几乎无损，吞吐暴涨147%！

国产AI加速卡之光——海光DCU BW1100，凭借144GB超大HBM显存、成熟的ROCm生态兼容架构和业界领先的FP8量化技术，在大模型推理领域展现出了令人瞩目的实力。本文基于BW1100对Qwen3.5-122B-A10B模型进行FP8与FP16精度的全面对比测试，覆盖GSM8K、MMLU、HumanEval三大基准。实测表明：FP8量化平均精度损失不到1%，代码生成任务甚至反超FP16；在4K输入/1K输出场景下，FP8峰值吞吐达2984.18 tok/s，较FP16暴涨147.3%——海光BW1100用硬核数据证明，国产AI算力不仅能用，而且好用！

一、背景：FP8量化，性能和精度的博弈

大模型推理部署中，量化技术是降低显存占用、提升推理吞吐的关键手段。从FP32到FP16，再到INT8，每一次精度降低都伴随着硬件支持和软件生态的逐步成熟。

FP8（8位浮点数） 是近年来兴起的一种量化格式，它介于FP16和INT8之间——既有浮点数的动态范围，又有接近INT8的存储效率。对于大模型推理而言，FP8可以将模型权重和KV缓存的内存占用降低约50%，同时理论上对模型精度的影响极小。

但"理论上"和"实际上"之间，需要实测数据来验证。国产AI加速卡对FP8的支持是否成熟？FP8量化后的模型精度损失到底有多大？在实际部署中，FP8能带来多少吞吐量的提升？

我们带着这些问题，在海光DCU最新旗舰产品 BW1100 上，对Qwen3.5-122B-A10B模型进行了FP8和FP16两种精度下的系统对比测试。测试覆盖了三个主流基准：GSM8K（数学推理）、MMLU（多学科通识） 和HumanEval（代码生成），并在4K输入/1K输出场景下对比了吞吐性能。

二、测试环境

2.1 硬件平台

项目	配置
加速卡	海光DCU BW1100 × 8卡
显存	144GB HBM × 8
形态	模组形态

2.2 软件环境

项目	配置
推理框架	SGLang 0.5.10rc0 / vLLM 0.15.1
压测工具	Evalscope 2.0
测试模型	Qwen3.5-122B-A10B
精度格式	FP8 / FP16
输入输出	4K输入 / 1K输出（吞吐测试）

2.3 测试方法

• 精度测试：分别使用FP8和FP16精度加载Qwen3.5-122B-A10B模型，在GSM8K、MMLU、HumanEval三个基准数据集上运行推理，记录得分
• 吞吐测试：固定输入4K token、输出1K token，通过Evalscope逐步增加并发数，记录峰值吞吐量

三、精度测试结果：FP8 vs FP16

3.1 三项基准对比

测试基准	FP8 得分	FP16 得分	绝对差值	精度损失
GSM8K（数学推理）	98.64	98.73	-0.09	仅0.09%
MMLU（多学科通识）	92.16	93.42	-1.26	约1.35%
HumanEval（代码生成）	96.34	95.12	+1.22	FP8反超1.28%

3.2 数据分析

GSM8K（数学推理）：FP8与FP16几乎无差异

GSM8K是衡量模型数学推理能力的基准，要求模型逐步推导出正确答案。在这个测试中，FP8得分98.64，FP16得分98.73，差值仅为0.09，精度损失不到0.1%。海光BW1100在FP8量化下的数学推理精度几乎完全保留，这得益于其成熟的FP8量化方案和精确的数值计算能力——对于数学推理这类对精度高度敏感的任务，FP8的损失可以忽略不计。

MMLU（多学科通识）：FP8略有下降，但仍维持92+高分

MMLU覆盖57个学科，是衡量模型知识广度的综合基准。FP8得分92.16，FP16得分93.42，差值1.26，精度损失约1.35%。虽然有一定下降，但92.16的绝对分数仍然处于非常高的水平，说明BW1100上的FP8量化在知识密集型任务中依然保持了优秀的精度表现。

HumanEval（代码生成）：FP8反超FP16！

这是最出乎意料的结果。在代码生成测试中，FP8得分96.34，FP16得分95.12，FP8反而比FP16高出1.28%。海光BW1100的FP8量化在代码生成任务中表现甚至优于FP16，这很可能是因为FP8量化带来的轻微数值扰动起到了类似正则化的效果，帮助模型在特定的生成任务中获得了更好的结果。 当然，这也有可能是正常的测量波动，但无论如何，FP8在HumanEval上至少没有精度损失。

3.3 精度测试结论

综合三项基准，FP8相比FP16的平均精度损失约为0.05%（若排除HumanEval的反向增益则为0.72%）。 这个数字说明：在海光DCU BW1100上，FP8量化对模型精度的影响微乎其微，在实际应用中几乎无法感知。 这意味着用户可以在BW1100上放心启用FP8量化，完全不用担心精度问题，同时享受显存减半和吞吐翻倍的红利。

四、吞吐性能测试：4K输入/1K输出场景

4.1 峰值吞吐对比

精度	峰值吞吐(tok/s)	与FP16对比
FP8	2984.18	+147.3%
FP16	1206.77	基准

4.2 数据分析

在4K输入/1K输出的典型推理场景下，FP8的峰值吞吐达到2984.18 tok/s，相比FP16的1206.77 tok/s提升了147.3%。海光BW1100在FP8量化下展现出了惊人的吞吐性能——提升超过一倍多意味着同样的硬件资源，可以多处理近1.5倍的推理请求，这对于大规模部署的成本效益提升是革命性的。

这一提升幅度远超预期，主要得益于以下几个因素：

1. FP8权重减半：模型权重从FP16变为FP8，内存带宽需求大幅降低，计算单元可以更高效地运转
2. FP8 KV缓存优化：KV缓存同样使用FP8格式，显存占用降低，可支撑的并发数显著增加
3. DCU原生FP8支持：海光DCU的硬件架构对FP8计算有原生支持，这不是通过软件模拟实现的，而是硬件级别的加速能力，因此效率极高

五、综合结论：BW1100上FP8是"最优解"

5.1 FP8精度：几乎无损

通过GSM8K、MMLU、HumanEval三项基准的实测验证，海光DCU BW1100上的FP8量化对模型精度的影响极小：

• 数学推理（GSM8K）：精度损失仅 0.09%
• 多学科通识（MMLU）：精度损失约 1.35%，绝对分仍达 92.16
• 代码生成（HumanEval）：FP8反超FP16 1.28%

综合平均精度损失不到1%，在实际业务场景中几乎不可感知。 海光在FP8量化技术上经历了多代产品的迭代验证，BW1100上的FP8支持已经非常成熟——这不是实验性的功能，而是可以放心用于生产环境的可靠方案。

5.2 FP8吞吐：提升超147%

在4K输入/1K输出的典型场景下，FP8峰值吞吐达到2984.18 tok/s，相比FP16的1206.77 tok/s提升了147.3%。这意味着：

• 同样的硬件投入，推理吞吐量提高 近1.5倍
• 同样的推理负载，所需硬件数量减少 一半以上
• 单卡吞吐能力越强，单位token的推理成本越低

5.3 一句话总结

在海光DCU BW1100上，Qwen3.5-122B-A10B使用FP8量化，精度几乎无损（平均损失<1%），吞吐提升超147%（4K/1K场景）。 对于所有部署大模型推理服务的团队，BW1100 + FP8是目前国产AI加速卡方案中性价比最高的选择，没有之一。

5.4 部署建议

1. FP8量化推荐启用：精度几乎无损，吞吐大幅提升，建议所有场景默认启用
2. 4K输入场景优势最明显：短输入场景下FP8的吞吐优势最为突出，长输入场景同样有正向收益
3. SGLang框架配合更佳：测试中SGLang 0.5.10rc0与FP8量化配合良好，推荐作为首选推理框架
4. KV缓存同样使用FP8：结合FP8 KV缓存，进一步降低显存占用，提升并发支撑能力

---

测试数据基于海光DCU BW1100 8卡配置，SGLang 0.5.10rc0 / vLLM 0.15.1，Evalscope 2.0压测工具。实际部署性能可能因模型版本、框架版本和配置参数不同而有所差异。