Ubuntu 24.04 安装deepseek-r1:671b

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加

随着深度学习技术的高速发展，越来越多的企业选择在内部搭建大模型推理与训练平台，以确保数据安全、降低外部依赖并满足企业级自定义需求。DeepSeek-R1 671B 作为一款超大规模预训练模型，具有强大的自然语言处理与理解能力，适合在文本生成、知识问答、内容审核等企业场景中提供高质量的解决方案。

                        版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/spy17642913947/article/details/145517497

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

deepseek-r1 671b模型对硬件的要求极高；
要求：
CPU 至少64核的高性能CPU
内存 512Gb或更高容量的DDR4内存
存储 至少2TB的NVMe SSD用于高速数据访问，可选10TB或更大的HDD用于数据存储
GPU 建议配备多块高性能GPU，如NVIDIA A100或V100，显存至少40GB

本文使用Xeon62402+内存1Tb+A100-40G8的超微服务器搭建私有模型部署

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、安装ubuntu环境

下载ubuntu24.04版的ISO镜像，来进行系统的安装：

https://mirror.iscas.ac.cn/ubuntu-releases/24.04/ubuntu-24.04.2-desktop-amd64.iso

安装过程省略，最后设置一个用户，我这里设置的是a100并设置密码。

因为机器的内网限制不能上网，但内网中其它一台机器可以上网，所有参照 ：https://www.bilibili.com/video/av113631228333626/?vd_source=5fedfe21403a304499d0d3a6219ad222
对其进行了openvpn配置。

下面配置系统环境 修改到清华的源：

╰─cp /etc/apt/sources.list /etc/apt/sources.list.bak
vi /etc/apt/sources.list

删除所有内容后添加如下内容：

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
main restricted universe multiverse

在桌面右键打开终端后对系统时行更新：

sudo apt update
sudo apt upgrade
apt autoremove
apt autoclean

安装用到的工具：

apt-get install openssh-server git-lfs curl tree net-tools mlocate

配置sshd，修改配置文件 /etc/ssh/sshd_config 让root可以远程登录：

PermitRootLogin yes

重启计算机后可能会进不了桌面，处理方法
进入终端，修改 /etc/default/grub 文件

#GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"	#添加#号
GRUB_CMDLINE_LINUX="text"		#添加text
GRUB_TERMINAL=console			#去掉#号

修改完后保存，接着删除gdm3安装lightdm

apt-get remove gdm3*
apt-get autoremove
apt-get install lightdm*
reboot

重启机器后就可以进入lightdm桌面了
参考：https://segmentfault.com/a/1190000045196008
ubuntu24.04LTS官网上最新驱动一直没有安装上过，所有手动安装nvidia驱动，

首先使用 ubuntu-drivers devices 命令查看有哪些驱动可以安装
╰─➤  ubuntu-drivers devices
udevadm hwdb is deprecated. Use systemd-hwdb instead.
udevadm hwdb is deprecated. Use systemd-hwdb instead.
udevadm hwdb is deprecated. Use systemd-hwdb instead.
udevadm hwdb is deprecated. Use systemd-hwdb instead.
ERROR:root:aplay command not found
== /sys/devices/pci0000:80/0000:80:03.0/0000:81:00.0/0000:82:08.0/0000:83:00.0 ==
modalias : pci:v000010DEd000013F2sv000010DEsd0000115Ebc03sc02i00
vendor   : NVIDIA Corporation
model    : GM204GL [Tesla M60]
driver   : nvidia-driver-470 - distro non-free
driver   : nvidia-driver-470-server - distro non-free
driver   : nvidia-driver-535 - distro non-free recommended
driver   : nvidia-driver-535-server - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin

选一个最新的 nvidia-driver-535-server

╰─➤  sudo apt install nvidia-driver-535-server
正在读取软件包列表... 完成
正在分析软件包的依赖关系树... 完成
正在读取状态信息... 完成                 
将会同时安装下列软件：
...
update-initramfs: Generating /boot/initrd.img-6.8.0-52-generic
I: The initramfs will attempt to resume from /dev/dm-1
I: (/dev/mapper/vgubuntu-swap_1)
I: Set the RESUME variable to override this.
正在处理用于 libc-bin (2.39-0ubuntu8.4) 的触发器 ...
正在处理用于 man-db (2.12.0-4build2) 的触发器 ...

给 linux 的 NVIDIA GPU 安装 CUDA Toolkit
下载CUDA Toolkit,访问NVIDIA官网，根据显卡支持的版本下载对应CUDA安装包‌34。
推荐选择稳定版本（如CUDA 12.x）并默认路径安装‌23。

https://developer.nvidia.com/cuda-toolkit-archive

安装cuDNN库‌
根据CUDA版本下载匹配的cuDNN，将文件复制到CUDA根目录

╰─➤  sudo apt install nvidia-cuda-toolkit

使用 nvidia-smi查看显卡信息正常显示
运行nvcc -V查看CUDA版本信息‌

二、安装deepseek

1.安装ollama

使用ollama可以调用多种大模型，并提供API供第三方应用使用

curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0% 
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

安装完成后，用a100用户登录ssh，下载671b

ollama pull deepseek-r1:671b
pulling manifest 
pulling 9801e7fce27d... 100% ▕███████████████████████████████████████████████████████▏ 404 GB                         
pulling 369ca498f347... 100% ▕███████████████████████████████████████████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕███████████████████████████████████████████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕███████████████████████████████████████████████████████▏  148 B                         
pulling fdf3d6cb73c7... 100% ▕███████████████████████████████████████████████████████▏  497 B                         
verifying sha256 digest 
writing manifest 
success 

模型为404GB，ollama下载支持断点续传，随时可以ctrl+c中断

2.运行ollama

先修改ollama服务脚本，指定11434端口

sudo vi /etc/systemd/system/ollama.service
添加：
Environment="OLLAMA_HOST=0.0.0.0:11434"
完整内容：
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
model_dir=/home/ollama/.ollama/models
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target

保存后执行：systemctl daemon-reload
```c
ollama run deepseek-r1:671b
Error: model requires more system memory (428.2 GiB) than is available (246.3 GiB)

提示模型需要系统内存428.2Gb

3.ollama调优+最优配置=性能巅峰

请参考：https://blog.csdn.net/qq_32014795/article/details/145699927

三、运行dify提供用户使用界面

1.安装docker

dify基于docker使用
安装 Docker 依赖

sudo apt-get install ca-certificates curl gnupg lsb-release

添加 Docker GPG 密钥和添加阿里云 Docker 安装源

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

安装 Docker

sudo apt-get install docker-ce docker-ce-cli containerd.io

更新 Docker Hub 镜像源

echo '{"registry-mirrors": ["https://docker.1ms.run"]}' | sudo tee /etc/docker/daemon.json > /dev/null

重载和重启 Docker 服务

systemctl daemon-reload
systemctl restart docker

2.安装dify

dify提供web来使用模型

git clone https://github.com/langgenius/dify
cd dify/docker
cp .env.example .env

启动Dify

sudo docker compose up -d

访问 Dify
访问 http://your_server_ip (默认 80 端口)
设置管理员账户并登录