【deepseek-OCR】记录实际安装部署过程
·
1. 准备Linux环境
根据deepseek-OCR官方仓库的安装说明,建议在Linux环境安装部署。
vLLM方式必需Linux环境,hf方式可以尝试在Windows环境安装部署,下面都在WSL的Ubuntu24.04安装部署(参考:https://blog.csdn.net/weixin_45725295/article/details/135215168)。

2. 拉取Deepseek-OCR代码
由于github访问较慢,建议使用Xget(其github仓库地址https://github.com/xixu-me/Xget)将github网址转成xget的镜像地址,这样git clone会很快。
git clone https://github.com/deepseek-ai/DeepSeek-OCR

3. cuda环境准备
使用nVidia的GPU进行大模型推理需要安装cuda。根据deepseek-OCR的文档建议安装cuda 11.8.
# 安装 GCC 11
sudo apt update
sudo apt install gcc-11 g++-11 -y
# 设置 GCC 11 为默认编译器
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-11 110
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-11 110
# 验证版本 gcc 11
gcc --version
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run
# 要等一会
# 输入accept
# 选择Install
echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
# 检查CUDA版本
nvcc --version
4. conda环境准备
deepseek-OCR项目是python大语言模型项目,建议使用anaconda进行python环境管理。
建议浏览器或迅雷手动下载然后移到wsl-Ubuntu某个目录
下载链接:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2025.06-1-Linux-x86_64.sh
- 安装
sudo sh Anaconda3-2025.06-1-Linux-x86_64.sh
# 回车
# yes
# /home/$username/anaconda3
# 回车
eval "$(/home/geek/anaconda3/bin/conda shell.bash hook)"
conda init
conda config --set auto_activate false
# 下次直接 conda activate base 可以激活base环境,也可以替换成别的环境
- 换源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
- 创建Deepseek-OCR环境
conda create -n deepseek-ocr python=3.12.9 -y
conda activate deepseek-ocr
5. 安装Deepseek-OCR要求的第三方库
- pip换源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
- 安装uv(并行下载,提高pip包下载速度)
pip install uv
- 安装第三方库
uv pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://mirror.sjtu.edu.cn/pytorch-wheels/cu118/
# uv pip install vllm-0.8.5+cu118-cp38-abi3-manylinux1_x86_64.whl
cd ~/DeepSeek-OCR
uv pip install -r requirements.txt
# pip install flash-attn==2.7.3 --no-build-isolation
# 本地构建flash-attn极其缓慢
建议迅雷手动下载:flash_attn-2.7.3+cu11torch2.6cxx11abiFALSE-cp312-cp312-linux_x86_64.whl
6. 模型下载与推理
准备好图片,按以下内容修改
~/DeepSeek-OCR/DeepSeek-OCR-master/DeepSeek-OCR-hf/run_dpsk_ocr.py
更多推荐



所有评论(0)