事故现象：优化与业务的认知断层

凌晨 3 点，某金融风控系统在灰度发布 DeepSeek-V4 INT8 量化模型后触发告警：业务端反馈「高风险用户识别准确率下降 11%」。尽管推理延迟降低 37%、GPU 成本下降 42%，但业务方坚持要求回滚。

排查链路：从指标到根因

关键日志片段（经脱敏）：

[2026-03-15 03:17:22] Model Output Discrepancy Alert 
FP16 vs INT8 置信度差异 >15% 样本占比: 8.3% 
高风险用户组差异样本集中率: 76%

通过分层抽样发现： 1. 长尾查询问题：涉及多条件嵌套的复杂风控规则（如「近 3 次交易且地理位置跳跃」类查询），INT8 量化后置信度分布出现明显右偏 2. Tokenizer 边界效应：业务方自定义的 37 个风险关键词中，有 5 个因量化导致 embedding 相似度阈值突破临界值（从 0.82→0.76） 3. 数值溢出隐患：在计算用户行为序列的注意力权重时，INT8 的数值范围(-128~127)导致部分中间结果溢出，影响决策边界

修复方案：三维验收表设计

最终落地「量化模型上线检查清单」：

维度	验收指标	阈值设定依据	监控频率
基础性能	P99 延迟 ≤150ms	现有 SLA 合同条款	每分钟采样
任务通过率	Golden Set 通过率 ≥98%	业务标注的 今年 条高风险案例集	每日全量测试
长尾稳定性	差异样本回测 F1 降幅 ≤3%	历史 bad case 回归测试结果	按需触发

关键机制： - 动态采样监控：对前 1% 高置信度差异样本实时重路由到 FP16 副本 - 版本热回退：在 API 网关层保留量化/非量化模型的双副本路由策略 - 分级告警：设置差异率 5%/10%/15% 三档熔断阈值

技术细节：量化实施避坑指南

1. 校准集构建：
2. 必须包含业务场景的特有查询模式（如金融场景的多条件组合查询）
3. 建议保留 5%~10% 的极端 case（如超长文本、特殊字符组合）
4. 层敏感度分析：
5. 使用 torch.quantization.observer 统计各层动态范围
6. 对注意力层的 K/V 矩阵建议保持 FP16
7. AB 测试策略：
8. 新请求按 5% 比例分流到量化模型
9. 对相同输入并行执行 FP16/INT8 推理并记录差异

预防体系：从单次事故到持续治理

1. Bad Case 溯源看板：
2. 将业务方反馈的 47 个差异案例反向注入到 Golden Set
3. 建立决策差异的根因分类（数值溢出/截断误差/注意力失真）
4. 量化感知训练：
5. 对风控专用关键词 embedding 层采用混合精度（FP16+INT8）
6. 在训练阶段模拟量化噪声
7. 合规留痕：
8. 所有量化模型的决策差异需生成可审计的对比报告
9. 记录每次模型切换的操作日志和审批流程

工程师行动清单（具体可执行项）

1. 测试阶段：
2. 构建业务场景的压力测试查询模板（含 5 类长尾模式）
3. 使用 torch.quantization.prepare 进行校准
4. 上线阶段：
5. 在网关配置中强制要求 X-Model-Variant: int8 头部的降级预案
6. 部署差异率实时监控仪表盘
7. 运维阶段：
8. 每周执行 Golden Set 全量回归
9. 每月更新校准集数据

延伸思考：何时不该强制量化？

通过本次事故，我们总结出三类不适合立即量化的场景： 1. 关键决策场景：当业务对 1% 的精度差异敏感时（如金融风控、医疗诊断） 2. 特殊文本处理：存在大量领域专有名词或自定义 token 的场景 3. 长序列推理：当输入 token 超过 2048 时，累积误差可能显著增加

最终方案采用分级量化策略：对通用问答模块使用 INT8，而核心风控模块保持 FP16，通过网关路由实现混合精度服务。这套方案使整体成本降低 28%，同时保证关键业务指标零降级。