问题定位与典型案例

当用户上传含图片、表格的文档至 RAG 知识库时，常见的错误是直接对 OCR 文本或图片描述进行分块嵌入。这种处理方式会引入三类典型问题：

1. OCR 噪声污染
2. 某金融报告中的表格因 OCR 识别错误（如「3.5%」误为「35%」），导致 DeepSeek-V4 在问答时输出错误收益率数据

3. 扫描件中的水印文字被误识别为正文（如「CONFIDENTIAL」出现在答案中）

4. 语义断层

5. 跨页表格被强行拆分后，DeepSeek 无法重建关联关系

6. 图片说明中的「示意图」字样未被保留，模型将示意性图表当作真实数据引用

7. 置信度混淆

8. 低清晰度图片中的文字识别结果未经置信度标注，被当作高可信数据使用

工程解决方案

1. 元数据标注规范（必须落地）

# 分块元数据示例
{
  "content_type": "table/equation/image_caption",  # 严格区分内容类型
  "confidence": 0.92,  # OCR或识别置信度（必须字段）
  "is_raw_data": false,  # 是否原始数据
  "source_page": 17,    # 来源定位（便于回溯）
  "timestamp": "2026-03",
  "provenance": "Tabula+v0.9.5"  # 处理工具链版本
}

2. 预处理流水线设计

图像类处理

• 前置过滤：
• 先提取 mime 类型与版面分析（使用 LayoutLMv3）
• 对非数据类图片强制添加「图示说明：」前缀

• 分辨率<300dpi的图片触发人工审核

• 表格专项处理：

• 优先调用 Tabula 而非通用 OCR
• 保留原始单元格边框坐标信息
• 跨页表格自动合并并标注「跨页关联」标记

文本类处理

• 数学公式需用 LaTeX 转义并标注 $...$ 边界
• 保留原始文档中的「数据来源」脚注
• 对[疑似]OCR错误文本（如非常用术语）添加「待校验」标签

3. 生成侧控制策略

在调用 DeepSeek API 时需要添加结构化约束：

prompt += """
## 数据使用规则（系统级指令）
1. 标注为 'image_caption' 的内容必须声明"根据图示描述"
2. 表格数据需满足：
   - confidence>0.9 
   - 未被标记为'跨页关联不完整'
3. 拒绝推测图中未明确标注的因果关系
4. 带[待校验]标签的内容必须声明"需要人工确认"
"""

质量保障体系

回归测试方案

1. 对抗样本集构造：
2. 故意损坏的表格边框（测试布局分析鲁棒性）
3. 低对比度文字图片（压力测试OCR模块）

4. 带水印的扫描件（检验元数据过滤）

5. 评测指标：

6. 事实错误率（人工校验100条样本）
7. 模型对元数据字段的引用比例（需>80%）
8. 错误检测率（系统发现可疑内容的比率）

监控看板

• 实时报警：
• 当连续3个提问涉及低置信度(<0.7)chunk时触发

• 图片类回答未包含「图示」关键词时预警

• 版本追踪：

• 记录每次知识库更新的处理工具链版本
• 当Tabula等关键组件升级时需全量回归

运维红线与成本控制

1. 绝对禁止项：
2. 开启「自动解析所有附件」功能
3. 用户上传的图片/PDF 未经预处理流水线直接入库

4. 未标注置信度的 chunk 进入向量库

5. 成本优化点：

6. 对置信度>0.95的文本块跳过二次校验
7. 仅在回答涉及表格/图片时才调用高精度解析

某金融客户实施该方案后： - 表格类问答准确率从 68% 提升至 93% - 「将示意图结论化」的错误归零 - 解析成本降低42%（通过置信度分级处理）

延伸讨论

当处理科研论文等复杂文档时，还需额外考虑： - 化学式/数学公式的符号转义 - 参考文献编号与正文的关联维护 - 作者修正注释的优先级处理

建议在这些场景中增加： 1. 领域专用的正则过滤器 2. 文献管理工具（如Zotero）的元数据接入 3. 人工校验环节的众包机制