Unlimited-OCR-GGUF与llama.cpp深度集成：编译支持DeepSeek-OCR的完整步骤

【免费下载链接】Unlimited-OCR-GGUF 项目地址: https://ai.gitcode.com/hf_mirrors/sahilchachra/Unlimited-OCR-GGUF

你是否正在寻找一个功能强大的OCR解决方案，能够处理复杂文档、表格和图表？Unlimited-OCR-GGUF正是你需要的答案！这个基于DeepSeek-OCR架构的3B视觉语言模型，通过GGUF量化格式与llama.cpp深度集成，为开发者提供了高效、准确的文档解析能力。本文将详细介绍如何编译支持DeepSeek-OCR的llama.cpp，让你轻松部署这个强大的OCR工具。

📋 为什么选择Unlimited-OCR-GGUF？

Unlimited-OCR-GGUF是基于百度Unlimited-OCR模型的GGUF量化版本，专门为llama.cpp优化。这个模型采用了DeepSeek-OCR架构，结合了SAM+CLIP视觉编码器和DeepSeek-V2 MoE文本解码器，具备以下核心优势：

• 多语言OCR支持：能够识别多种语言的文档内容
• 长文档解析：支持一次性处理长篇幅文档
• 布局感知：保留文档的原始布局和结构
• 边界框检测：精确识别文本在图像中的位置
• 多种量化选项：从BF16到IQ2_M，满足不同硬件需求

🔧 编译支持DeepSeek-OCR的llama.cpp

由于Unlimited-OCR使用DeepSeek-OCR架构，标准的llama.cpp版本无法加载这些模型文件。你需要编译支持DeepSeek-OCR的特殊分支。

步骤1：克隆并准备代码库

首先，克隆llama.cpp仓库并切换到支持DeepSeek-OCR的分支：

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24975/head:pr24975
git checkout pr24975

步骤2：配置和编译

根据你的硬件配置选择合适的编译选项：

基础编译（CPU版本）：

cmake -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build -j --target llama-mtmd-cli llama-server

NVIDIA GPU加速版本：

cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON
cmake --build build -j --target llama-mtmd-cli llama-server

编译完成后，你将在build/bin/目录下获得llama-mtmd-cli和llama-server两个可执行文件。

📥 下载Unlimited-OCR-GGUF模型文件

要运行Unlimited-OCR，你需要下载两个关键文件：语言模型GGUF和视觉投影器。

推荐配置

对于大多数用户，我们推荐使用Q4_K_M量化版本，它在质量和大小之间提供了最佳平衡：

huggingface-cli download sahilchachra/Unlimited-OCR-GGUF \
  --include "Unlimited-OCR-Q4_K_M.gguf" "mmproj-Unlimited-OCR-F16.gguf" --local-dir ./uocr

可用量化选项

Unlimited-OCR-GGUF提供了多种量化级别，满足不同需求：

量化级别	文件大小	适用场景
Q4_K_M	1.82 GiB	推荐默认 - 最佳质量/大小平衡
Q8_0	2.91 GiB	接近无损质量，适合高精度需求
Q6_K	2.43 GiB	高质量，与Q8_0几乎无差别
Q5_K_M	2.07 GiB	高质量，比Q4稍大
IQ4_XS	1.53 GiB	i-quant版本，ARM/边缘设备优化

重要提示：所有版本都需要配合mmproj-Unlimited-OCR-F16.gguf视觉投影器使用。

🚀 快速开始使用

现在你已经准备好了编译好的llama.cpp和模型文件，让我们开始第一个OCR任务！

基本OCR命令

./build/bin/llama-mtmd-cli \
  -m ./uocr/Unlimited-OCR-Q4_K_M.gguf \
  --mmproj ./uocr/mmproj-Unlimited-OCR-F16.gguf \
  --image document.png \
  -p "<|grounding|>Convert the document to markdown." \
  --chat-template deepseek-ocr --temp 0

关键参数说明

• --mmproj：指定视觉投影器文件（必需）
• --chat-template deepseek-ocr：使用DeepSeek-OCR聊天模板（必需）
• --temp 0：设置为0以获得确定性OCR输出
• -n 4096：设置最大输出长度，长文档需要增加此值

💡 实用提示与最佳实践

1. 处理长文档

对于多页文档，建议逐页处理：

# 处理第一页
./build/bin/llama-mtmd-cli -m ./uocr/Unlimited-OCR-Q4_K_M.gguf \
  --mmproj ./uocr/mmproj-Unlimited-OCR-F16.gguf \
  --image page1.png --chat-template deepseek-ocr \
  --temp 0 -n 4096 -p "<|grounding|>Convert the document to markdown."

# 处理第二页
./build/bin/llama-mtmd-cli -m ./uocr/Unlimited-OCR-Q4_K_M.gguf \
  --mmproj ./uocr/mmproj-Unlimited-OCR-F16.gguf \
  --image page2.png --chat-template deepseek-ocr \
  --temp 0 -n 4096 -p "<|grounding|>Convert the document to markdown."

2. 优化输出质量

如果遇到重复输出或循环问题，可以添加重复惩罚参数：

--repeat-penalty 1.05

3. 不同任务提示词示例

Unlimited-OCR支持多种OCR任务，通过不同的提示词实现：

任务类型	提示词示例
文档转Markdown	<|grounding|>Convert the document to markdown.
纯文本OCR	Free OCR.
带边界框的OCR	<|grounding|>OCR this image.
原生文档解析	document parsing.
图表解析	Parse the figure.
图像描述	Describe this image in detail.

🌐 部署为API服务

Unlimited-OCR可以通过llama-server提供OpenAI兼容的API服务：

./build/bin/llama-server \
  -m ./uocr/Unlimited-OCR-Q4_K_M.gguf \
  --mmproj ./uocr/mmproj-Unlimited-OCR-F16.gguf \
  --chat-template deepseek-ocr -c 8192 --host 0.0.0.0 --port 8080

然后通过HTTP请求调用：

IMG=$(base64 -w0 document.png)
curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "temperature": 0,
  "messages": [{ "role": "user", "content": [
    { "type": "text", "text": "<|grounding|>Convert the document to markdown." },
    { "type": "image_url", "image_url": { "url": "data:image/png;base64,'"$IMG"'" } }
  ]}]
}'

🔍 理解输出格式

当使用<|grounding|>提示词时，模型会输出带有边界框信息的结构化文本：

<|det|>title [37, 64, 464, 132]<|/det|>INVOICE #2026-0623
<|det|>text  [37, 194, 350, 247]<|/det|>Bill To: Sahil Chachra
<|det|>text  [37, 483, 329, 543]<|/det|>Total Due: $44.00

每个[x1, y1, x2, y2]表示文本在图像中的边界框坐标。如果你只需要纯文本，可以去掉<|grounding|>前缀。

⚠️ 注意事项与限制

1. 编译要求：必须使用支持DeepSeek-OCR的llama.cpp分支（PR #24975）
2. 硬件要求：视觉编码器始终以fp16运行，需要足够的GPU/CPU内存
3. 量化选择：低比特量化（如IQ2_M）会牺牲精度，生产环境建议使用Q4_K_M或更高
4. 文档长度：对于超长文档，可能需要分页处理

🎯 总结

通过本文的完整步骤，你已经掌握了如何编译支持DeepSeek-OCR的llama.cpp，并成功部署Unlimited-OCR-GGUF模型。这个强大的OCR工具能够处理各种文档解析任务，从简单的文本提取到复杂的布局分析。

无论你是需要处理发票、表格、图表还是多语言文档，Unlimited-OCR-GGUF都能提供高质量的识别结果。现在就开始你的OCR项目，体验DeepSeek-OCR架构带来的强大文档解析能力吧！

立即开始：按照上述步骤编译llama.cpp，下载合适的量化模型，开始你的高效OCR之旅！🚀

【免费下载链接】Unlimited-OCR-GGUF 项目地址: https://ai.gitcode.com/hf_mirrors/sahilchachra/Unlimited-OCR-GGUF