问题1：同一份 Golden set 跑不同模型，指标可比性如何？

结论：仅限方向参考，不可直接对比绝对值。关键制约因素： 1. Tokenizer 差异：DeepSeek 与 ChatGPT 的 tokenizer 对中文编码效率不同，相同问题消耗的 token 数可能差 1.5 倍 2. 评分标准偏移：当 Claude 在「事实准确性」得分偏低时，可能是其保守性导致的假阴性 3. 上下文窗口策略：DeepSeek-V4 的 128k 窗口会完整保留参考文档，而 ChatGPT 可能触发自动截断

工程验证方法： - 使用 transformers.AutoTokenizer 对比相同文本的 token 拆分 - 对争议样本进行人工标注，计算各模型假阳性/假阴性比例 - 通过 API 返回的 usage 字段统计实际消耗上下文长度

反例：某金融知识库评测中，DeepSeek 的召回率比 Claude 高 8%，但经人工复核发现： - 其中 3% 是 Claude 正确排除了低质量文档 - 2% 是 DeepSeek 返回了合规风险内容 - 真实有效差异仅 3%

问题2：哪些指标敢写进合同 SLA？

可执行清单： - ✅ 可量化客观项： - 响应延迟 P99 ≤1500ms（需注明测试环境） - 日均故障次数 ≤0.1%（需定义故障标准） - 单次会话最大 token 消耗（防止滥用） - ⚠️ 需人工校准项： - 意图识别准确率（必须配套标注规范） - 文档召回率（需固定检索算法版本） - 敏感信息误报率（需明确检测规则） - ❌ 禁止直接承诺项： - 「优于XX模型」类对比表述 - 未经业务验证的自动化评分（如 LLM-as-judge） - 未考虑业务场景的通用基准（如 MMLU）

合同条款设计要点： 1. 必须包含测试环境描述（如 g5.2xlarge 实例类型） 2. 定义异常情况处理流程（如连续3次超时触发熔断） 3. 明确数据脱敏要求（如 PII 检测覆盖率≥95%）

案例：某车企客服系统合同约定「问题解决率 ≥85%」，实际执行时： 1. 需额外定义「解决」的判定标准（是否含转人工） 2. 每周人工抽查 5% 的负样本 3. 模型迭代需保持分数波动 ≤±2% 4. 引入第三方审计接口日志

问题3：模型升级时如何设置回归阈值？

DeepSeek-V4 实践方案： 1. 分级门禁： - 核心指标（如安全拦截率）必须 ≥旧版本 - 次要指标（如流畅度）允许 ±3% 波动 - 新增指标（如多语言支持）设置最低基线 2. AB测试策略： - 新模型流量先放 5%，重点监控： - 长尾 query 的退化情况 - 系统资源消耗（如 GPU 显存突增） - 会话连贯性（通过人工评估） 3. 回滚机制： - 当 P99 延迟上升超过 20% - 或人工抽检负样本率突破 2σ - 或关键业务指标连续2天下降

监控指标配置示例：

metrics:
  - name: response_quality
    type: composite
    weights:
      accuracy: 0.6
      safety: 0.3
      fluency: 0.1
    alert_threshold: -5%
  - name: resource_usage
    metrics:
      - gpu_utilization
      - memory_peak
    baseline: rolling_7d_avg

典型误判：某次升级后「平均响应速度」提升 15%，但： - 事后发现是超时机制从 5s 改为 3s 导致 - 实际满意度下降 7% - 故障排查耗时 3 人日

问题4：如何构建可靠的 Golden set？

构建流程： 1. 样本采集： - 覆盖主流业务场景（如客服对话中的产品咨询、投诉处理） - 包含边界案例（如模糊查询、多语言混合输入） - 保留原始会话上下文（非单条孤立问题） 2. 标注规范： - 定义明确的评分维度（事实性、完整性、安全性） - 提供参考答案和可接受变体 - 标注分歧率需 ≤15% 3. 版本管理： - 每次迭代保留旧版本用于回归测试 - 记录数据变更日志（如新增10%的行业术语案例）

常见陷阱： - 测试集泄露到训练数据（需检查提交时间戳） - 标注标准随业务需求漂移（需季度复审） - 过度拟合评测指标导致业务表现下降

边界建议与实施检查清单

供应商评估要求： 1. 必须提供测试集的： - 行业分布统计（如金融案例占比） - 标注分歧率（inter-annotator agreement） - 压力测试性能衰减曲线 2. 要求展示： - 失败案例分析报告 - 版本间差异说明文档

内部评估增强项： - 领域专有名词识别率（通过术语库校验） - 多轮会话一致性检查（使用会话树验证） - 敏感词误报统计（按误报类型分类） - 资源消耗跟踪（每千token的GPU秒数）

实施路径： 1. 先在小规模真实流量上验证指标敏感性 2. 建立自动化监控看板（含基线对比） 3. 制定季度评估复审机制 4. 保留人工抽查样本的原始日志