原文章指路:

https://blog.csdn.net/u011278722/article/details/137673353
https://blog.csdn.net/csdn122345/article/details/145686969
https://cloud.tencent.com/developer/article/2434223
https://blog.csdn.net/zwlww1/article/details/129624289
https://github.com/sgl-project/sglang/tree/main/benchmark/deepseek_v3

基本配置

ubuntu 22.04

安装docker

准备步骤

首先需要卸载系统自带的docker并安装必要支持:

sudo apt-get remove docker docker-engine docker.io containerd runc
sudo apt install apt-transport-https ca-certificates curl software-properties-common gnupg lsb-release

 然后是添加GPG key,第一个命令是添加官方的key,第二个是国内阿里镜像源的key(第一个可能会添加失败,这种情况不会影响后续步骤):

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

接着要添加apt源(第一个是官方源,第二个是阿里源):

echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

 上面都做完后,更新源:

sudo apt update
sudo apt-get update

正式安装

安装最新版本的docker:

sudo apt install docker-ce docker-ce-cli containerd.io

 安装完成后查看版本:

sudo docker version

查看docker状态:

sudo systemctl status docker

 安装docker命令补全工具(自选)

sudo apt-get install bash-completion

sudo curl -L https://raw.githubusercontent.com/docker/docker-ce/master/components/cli/contrib/completion/bash/docker -o /etc/bash_completion.d/docker.sh

source /etc/bash_completion.d/docker.sh

配置国内镜像源

docker官方服务器速度慢而且疑似被墙,所以配置国内镜像源十分必要(不然会等下载等到天荒地老)

配置daemon.json文件

如果 /etc/docker目录不存在,创建一个:

sudo mkdir -p /etc/docker

接着创建daemon.json文件,此处不推荐直接使用vim或nano创建.为防止创建出的文件没有写入权限,使用touch命令后切换文件模式再进行编辑:

sudo touch /etc/docker/daemon.json
sudo chmod 777 /etc/docker/daemon.json
sudo vi /ect/docker/daemon.json

 在文件内复制:

{
  "registry-mirrors": [
    "https://docker.m.daocloud.io",
    "https://docker.imgdb.de",
    "https://docker-0.unsee.tech",
    "https://docker.hlmirror.com",
    "https://docker.1ms.run",
    "https://func.ink",
    "https://lispy.org",
    "https://docker.xiaogenban1993.com"
  ]
}

保存文件,并准备重启服务。

重启docker服务

sudo systemctl daemon-reload
sudo systemctl restart docker

 验证配置是否成功

sudo docker pull hello-world

如果能快速拉取到镜像源,说明配置成功。 

加速下载进程并实现断点续传

有些镜像文件很大,如果网速慢就可能会断连或者丢包,docker原始配置不支持断点续传,这里就需要一点小技巧。

再次编辑daemon.json

sudo vi /etc/docker/daemon.json

编辑器内在"register-mirrors"下加入:

{
    "register": [...]
    "features": {
        "containerd-snapshotter": true
    }
}

 上述新加内容开启了docker的快照功能,需要时设置为true

保存后重启docker服务:

sudo systemctl daemon-reload
sudo systemctl restart docker

docker启动报错处理

懒得写了,直接去这篇文章:https://blog.csdn.net/zwlww1/article/details/129624289

下载并启动deepseek

参照SGlang官方文档:

# Pull latest image
# https://hub.docker.com/r/lmsysorg/sglang/tags
docker pull lmsysorg/sglang:latest

# Launch
docker run --gpus all --shm-size 32g -p 30000:30000 -v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host --network=host --privileged lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code --port 30000

至此就完成了deepseek在ubuntu本地的下载部署。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐