在预算有限的情况下，企业常面临一个关键选择：是投入资源进行领域微调，还是直接部署RAG（检索增强生成）方案？DeepSeek团队在实际项目中总结了以下工程决策框架。

1. 数据维度：可得性与标注成本

• 微调需求：至少需要数千条高质量标注数据，标注成本可能占预算50%以上。以金融客服场景为例，单条意图标注成本约3-5元，1万条数据即需5万元预算
• RAG优势：可直接利用现有文档库，但需预处理（分块/向量化）投入。DeepSeek某客户案例显示，PDF解析+向量化成本约文档库体积的0.2元/MB
• 检查项：
• 是否有现成标注团队或标注工具链（如Prodigy等）
• 非结构化文档的清洁度（PDF解析成功率需验证，某些扫描件OCR错误率可能超15%）
• 领域术语覆盖率（通过TF-IDF分析Top1000词与标准术语库的重合度）

2. 延迟与运维成本

• 微调模型：
• 推理延迟稳定（DeepSeek-V4在A10G显卡上P99约320ms）
• 但模型更新需全量重训（2-4周/次，包含数据清洗、训练和A/B测试全流程）
• 典型成本：单次微调消耗约200 GPU小时（按公有云价格约6000元）
• RAG系统：
• 检索阶段增加100-200ms延迟（Milvus+重排序方案实测P95=178ms）
• 索引可增量更新（每小时处理约5GB新文档）
• 运维成本：需专职工程师维护向量库（约2人天/周）
• DeepSeek混合方案案例：某券商采用基础模型微调（客服意图识别）+动态RAG（政策文件查询），使意图识别准确率提升12%的同时，政策更新延迟从2周缩短至4小时

3. 合规风险分级

• 微调风险：
• 训练数据版权审查（代码数据集需验证License，医疗数据需脱敏）
• 模型输出不可控性（需部署输出过滤层，增加约50ms延迟）
• RAG风险：
• 检索结果的可解释性要求（需保留原文片段及出处）
• 数据泄露风险（需文档访问权限控制系统，与AD/LDAP集成）
• 折中方案：对高风险字段（如患者病历）保持RAG链路，普通咨询用微调模型处理

4. 组合策略实施边界

预算<50万时的推荐架构：

1. RAG基础管线
2. 向量库：Chroma（轻量级，支持GPU加速）
3. 检索器：BM25+向量混合检索（权重比3:7）
4. 重排序：Cross-Encoder小模型（参数量<100M）
5. 关键场景微调
6. 选择Top20高频query进行LoRA微调（节约80%训练成本）
7. 使用DeepSeek的量化工具链（FP16精度，显存占用减少40%）
8. 熔断机制
9. 当RAG置信度<0.7时自动切换至微调模型
10. 置信度计算：检索分数+生成logits的综合评估

实施路线检查清单

1. 数据评估阶段（1-2周）：
2. □ 标注数据抽样评估（F1<0.65则优先RAG）
3. □ 文档库质量审计（解析错误率>10%需预处理）
4. 技术验证阶段（2-3周）：
5. □ RAG召回率测试（Top5召回率应>75%）
6. □ 微调模型领域术语测试（专业词汇准确率>90%）
7. 生产部署阶段：
8. □ 建立AB测试框架（分流比例建议7:3）
9. □ 监控看板配置（关键指标：响应延迟、意图准确率、引用准确率）

典型踩坑与缓解

1. 标注数据偏差
2. 现象：标注员过度依赖少量模板导致模型泛化差
3. 解决方案：引入领域专家复核10%样本，使用聚类分析标注分布
4. RAG冷启动
5. 现象：前两周高频query无相关文档
6. 解决方案：预埋50个核心问答对，设置人工审核队列
7. 混合方案冲突
8. 现象：微调模型与RAG结果不一致
9. 解决方案：定义优先级规则（如监管相关query强制走RAG）

决策树总结

根据DeepSeek-V4的实测表现（128k上下文支持更长的引用片段），推荐按以下流程决策：

graph TD
    A[启动需求] --> B{标注数据>5000条且F1>0.7?}
    B -->|是| C[微调优先]
    B -->|否| D[启动RAG]
    C --> E{是否有高频更新需求?}
    E -->|是| F[补充RAG组件]
    E -->|否| G[纯微调方案]
    D --> H{是否涉及高风险领域?}
    H -->|是| I[强制RAG+人工审核]
    H -->|否| J[基础RAG+关键场景微调]

最终建议： - 金融、医疗等合规敏感领域：RAG占比≥70% - 客服、营销等敏捷场景：微调占比可提升至50% - 始终保留15%预算用于效果监控和迭代优化