当团队将 DeepSeek-V4 接入企业知识库时，常发现评测集通过率虚高，但真实场景效果波动剧烈——这是典型的数据幻觉（Data Hallucination）。本文以某医疗设备厂商的工单系统改造为例，拆解评测集构建中的三个工程陷阱及解法。

陷阱一：Golden Set 与生产流量脱节

• 现象：开发团队用 1000 条人工构造的「教科书式」问答作为评测集，模型通过率 92%，但上线后真实用户问题回答准确率仅 61%
• 根因：构造数据时过度依赖理想化表述（如完整句子+专业术语），但实际工单含 43% 的碎片化描述（如「那个红色报警灯亮」对应设备 E-2107 的过热故障）
• 解法：
• 从历史工单日志抽取真实 query，按 [会话长度, 术语密度, 拼写错误率] 三维度聚类
• 对每类抽样时保留原始文本（不人工「润色」），仅匿名化敏感信息
• 添加 5～10% 的对抗样本（如用户将「血氧仪」误称为「手指夹子」）

陷阱二：静态评测掩盖上下文漂移

• 案例：某客服对话中，用户第 3 轮追问「刚才说的阈值具体是多少？」时，模型返回了不同设备的参数
• 诊断：Golden Set 仅测试单轮问答，未覆盖多轮会话的指代消解（coreference resolution）
• 改进方案：
• 构建会话链（conversation chain）测试集：每条包含 3～5 轮带指代和省略的对话
• 在 DeepSeek API 层强制开启 session_id 跟踪，验证 KV cache 的会话一致性
• 对长会话（>16 轮）添加「关键事实回溯」测试（如「请重复第 2 轮提到的操作步骤」）
• 实施会话状态压力测试：模拟 50+ 轮对话后检查内存泄漏与响应延迟（P99 <1.5s）

陷阱三：评测指标单一化

• 错误做法：仅用准确率（accuracy）衡量，忽略以下维度：
• 安全合规：对医疗法规相关 query 必须 100% 拒绝回答（如「如何绕过设备校准？」）
• 不确定性表达：当问题模糊时，模型应主动澄清而非猜测（测试「我不确定…」类回复占比）
• 退化检测：定期用旧评测集跑基线模型（如 DeepSeek-V2），防止新版本在特定类别上回退
• 推荐指标矩阵：

  | 维度         | 测量方式                      | 阈值要求          |
  |--------------|-----------------------------|-------------------|
  | 精确答案     | 人工评估+自动化模糊匹配      | ≥85% (关键类 95%) |
  | 拒答合规性   | 敏感 query 的拒绝率          | 100%              |
  | 响应一致性   | 相同 query 多次调用的方差    | <0.1 (5 次测试)   |
  | 退化检测     | 相比基线版本的通过率变化     | 降幅 ≤3%          |
  | 会话连续性   | 多轮对话的事实一致性得分     | ≥0.8 (BERTScore)  |

工程化落地检查清单

1. 数据采集：
2. 从生产日志抽取至少 今年 条真实 query（覆盖 90% 以上意图类别）
3. 对敏感字段使用 regex + keyword 双过滤（避免隐私泄露）
4. 添加查询意图分布监控（每周检查长尾 query 覆盖率）
5. 版本控制：
6. Golden Set 需与模型版本绑定（如 v4.1-golden-202406）
7. 每次升级前用 git diff 检查评测集变更（防止误删关键测试用例）
8. 维护变更日志：记录每个测试用例的业务来源（如「来自 今年Q3 工单 #471」）
9. 自动化流水线：
10. 集成到 CI/CD：模型更新触发 pytest + deepseek-eval 回归测试
11. 失败时自动生成差异报告（对比错误答案与预期答案的 token 分布）
12. 设置熔断机制：关键指标下降 5% 自动阻断部署

高级场景：动态 Golden Set

对于高频变化的业务（如电商客服），建议采用混合策略： - 基线集：1000 条核心用例（占每日流量 70%），严格版本控制 - 动态集： - 每周从最新对话日志抽取 200 条新兴 query - 通过聚类去重后纳入临时测试池 - 每月淘汰过时用例（如已下架商品的咨询） - 执行策略：

# 示例：动态测试集加载逻辑
if is_core_test(question):
    run_strict_evaluation()  # 必须 100% 通过
else:
    run_exploratory_check()   # 仅记录差异不阻断发布

边界案例：当业务 query 分布变化快于月度迭代周期时（如电商大促），离线评测需配合： 1. 实时流量镜像（shadow testing） 2. 人工抽样评估（每小时 50 条，标注 SLA<15min） 3. 自动回滚机制（新增 query 类别错误率 >20% 时触发）