现象：Golden Set 为何失效

某金融知识库项目上线初期 RAG 回答通过率稳定在 92%，三个月后暴跌至 52%。排查发现评测集（Golden Set）中的「合规条款解读」类问题失效最严重——并非模型能力退化，而是业务部门在此期间更新了 37% 的监管文件，原有标准答案已不适用。

评测集动态维护的三层防线

1. 版本化索引与答案快照

• 每次文档更新时自动生成索引快照（含 chunk hash）
• 关联对应时间段的评测问题与参考答案
• DeepSeek-V4 的 JSON 输出结构化字段中强制包含 doc_version 标记
• 快照存储采用分级策略：高频更新文档保留最近10版，低频文档保留3版
• 通过 S3 生命周期策略自动清理过期快照，控制存储成本

2. 语义漂移检测

核心指标监测

• 使用 Sentence-BERT 计算新旧文档关键段落相似度
• 设置动态阈值：金融领域建议 0.7，医疗领域建议 0.8（需领域适配）
• 对核心术语建立同义词库（如「反洗钱→AML」）避免误报

# 用 embedding 余弦相似度监测核心概念变化
old_vec = get_embedding("反洗钱客户识别要求")
new_vec = get_embedding("今年年反洗钱新规要点")
if cosine(old_vec, new_vec) < 0.7:
    trigger_alert()

告警分级策略

• 一级告警：核心条款相似度<0.6（需立即处理）
• 二级告警：一般条款相似度<0.7（3天内处理）
• 三级告警：参考条款相似度<0.8（周报提示）

3. 自动化回归测试流水线

测试框架设计

• 每日用最新模型对历史 Golden Set 跑全量测试
• 通过率波动超过 5% 时触发分级告警
• 关键业务问题设置一票否决项（如合规类）
• 测试结果存入时序数据库（如 Prometheus）用于趋势分析

DeepSeek-V4 特殊配置

• 开启 do_sample=False 确保结果确定性
• 设置 repetition_penalty=1.2 控制参考答案冗余度
• 对法律条款类问题强制启用引用溯源功能

边界与成本控制

冷启动策略

• 初始评测集构建建议：
• 至少 200 个覆盖核心场景的种子问题
• 问题类型配比：事实型60%、推理型30%、开放型10%
• 参考答案标注需经过业务专家复核

日常维护成本

• 文档-问题配比公式：

  新增问题数 = ceil(新增文档数/50)

• 实测数据表明：
• 每新增 1000 个文档需追加 15-20 个评测问题
• 问题维护耗时约占整体运维时间的 25%

资源优化技巧

• 使用 DeepSeek 批量推理 API 降低评测成本
• 对非关键问题采用抽样测试（如 20% 随机抽样）
• 利用模型置信度分数自动过滤低质量答案

排障检查清单

第一阶段：快速定位

✅ 检查 Golden Set 中失效问题是否集中在某类文档 ✅ 对比当前答案与历史快照的 F1 score 差异 ✅ 验证 embedding 模型是否随业务术语更新重新训练 ✅ 审计文档更新频率与评测集补充记录的滞后天数

第二阶段：根因分析

🔍 检查快照版本跳跃情况（如是否跨过多个版本） 🔍 分析失效问题的文本特征（长度/术语密度/句式复杂度） 🔍 复核人工标注一致性（Krippendorff's α >0.8）

第三阶段：验证修复

🛠️ 对新版评测集进行 A/B 测试 🛠️ 监控核心指标 7 天波动范围 🛠️ 建立文档更新与评测集维护的 SLA

进阶方案：动态评测集

对于高频更新场景，可实施： 1. 自动问题生成（基于文档结构提取问题-答案对） 2. 差异驱动抽样（优先测试近期修改过的文档相关题目） 3. 在线学习机制（将用户反馈自动转化为评测用例）

经验总结

• 评测集维护不是一次性工作，需建立持续迭代机制
• 金融领域建议每月全量回归测试不少于2次
• DeepSeek 的版本化输出特性可大幅降低比对复杂度
• 最终目标是通过率波动控制在±3%以内