问题1：用户上传的图片/PDF是否应该直接进向量库？

结论：必须先结构化处理，禁止原始OCR文本直接入库。某银行客服知识库实测显示，未清洗的表格OCR文本会使DeepSeek-V4回答错误率提升37%（对比人工标注集）。

关键步骤： 1. 类型标注：用MIME检测区分自然图像/表格/流程图，建议使用python-magic库进行准确识别 2. 版面分析：PyMuPDF或PDFMiner提取表格行列结构，注意处理跨页表格的连续性 3. 置信度标记：Tesseract OCR后对低置信度区域（<90%）打[UNVERIFIED]标签，建议设置不同置信度阈值： - >95%：可信文本 - 90-95%：警告文本 - <90%：不可信文本 4. 来源分离：保持图片caption与正文在不同chunk，建议使用分隔符---IMAGE-CAPTION---

反例：某医疗知识库因未处理扫描报告中的OCR错字（"1.0mg"误识为"10mg"），导致DeepSeek生成剂量错误回答。事后分析发现，这类错误会导致： - 医疗领域错误率增加42% - 用户投诉率上升28% - 平均处理时间延长15分钟/案例

优化方案：建立多级校验流程： 1. 初级校验：自动规则（如剂量单位正则匹配） 2. 中级校验：NLP模型（如药品名称实体识别） 3. 高级校验：人工抽查（针对高风险领域）

---

问题2：如何避免模型将图片说明当作事实背书？

工程方案： - 提示词约束：在system prompt声明请勿将图片描述作为医学/法律依据，并设置惩罚因子：

penalty_scores = {
  "medical_advice": -2.0,
  "legal_interpretation": -1.5
}

- 输出过滤：对含[UNVERIFIED]标记的引用强制触发人工审核，建立审核队列优先级： 1. 医疗/法律内容 2. 财务数据 3. 个人信息 - 会话管理：当用户追问图片细节时，返回该信息需核对原始文件的标准化响应，并记录以下元数据： - 询问时间戳 - 用户ID - 原始文档哈希值

DeepSeek-V4特调参数：

generation_config = {
  "repetition_penalty": 1.2,  # 抑制重复OCR噪声
  "prefix_suffix_penalty": True,  # 避免拼接不同来源片段
  "max_verified_context": 3,  # 最大可信上下文块数
  "unverified_penalty": 0.8  # 低置信度内容惩罚权重
}

监控指标： - 图片引用准确率（每周抽样评估） - 人工审核触发率（目标<5%） - 用户二次确认率（反映信任度）

---

问题3：多模态RAG应该建立哪些回归测试？

必测场景清单： 1. 表格跨页断裂：测试是否保留表头，评估指标包括： - 表头识别准确率 - 数据关联正确率 2. 公式OCR混淆：建立常见混淆对（如α→a，β→B） 3. 水印/印章遮挡：测试文本恢复能力 4. 中英文混排：评估段落连贯性

DeepSeek评测体系： 1. 图文一致性得分： - 人工评估（5分制） - 自动评估（CLIP相似度） 2. 错误传播率：

（OCR错误导致错误回答数）/（总测试用例数）

3. 拒答率： - 理想范围：15-25% - 过高说明限制过严 - 过低说明风控不足

测试数据构造： - 正例：200+人工标注的完美OCR文档 - 负例：50+典型OCR错误案例 - 边缘案例：30+特殊格式文档（如古文献）

---

边界情况处理

不应做RAG的场景： 1. 手写体文档：当OCR准确率<70%时，建议： - 转为人工处理工作流 - 或仅索引元数据 2. 纯示意图：采用计算机视觉方案替代： - 特征提取（SIFT/SURF） - 相似图检索 3. 法律文件：建立特殊处理通道： - 数字签名验证 - 版本控制 - 审计日志

混合处理策略：

graph LR
  A[原始文档] --> B{是否可OCR}
  B -->|是| C[结构化处理]
  B -->|否| D[人工标注]
  C --> E[置信度分级]
  D --> F[专家审核]
  E --> G[向量化]
  F --> G

成本优化建议： 1. 离峰处理：利用AWS Spot实例进行批量OCR 2. 分级存储：高频访问文档用SSD，历史文档用HDD 3. 缓存策略：对已验证文档建立7天缓存

---

实施检查清单

1. [ ] 文档类型检测模块
2. [ ] OCR置信度标记系统
3. [ ] 高风险内容过滤器
4. [ ] 人工审核接口
5. [ ] 回归测试套件
6. [ ] 监控仪表盘

上线前必做： - 小流量测试（<5%流量） - A/B测试（对比纯文本RAG） - 安全评审（特别是医疗/法律场景）