Miniconda 官网与下载链接
https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

mkdir miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3

给下载下来的安装文件添加执行权限

sudo chmod +x Miniconda3-latest-Linux-x86_64.sh

3. 运行安装脚本进行安装。一般来说在linux 系统下，我们会把第三方软件和库安装在/opt/文件夹下。该文件夹一般只有root拥有写权限，所以我们在执行时加上sudo，以root的身份来运行

sudo ./Miniconda3-latest-Linux-x86_64.sh
# ~/miniconda3/bin/conda init bash
# ~/miniconda3/bin/conda init zsh

让配置生效

source /root/.bashrc 
source /root/.zshrc

4. 运行后出现如下提示 Welcome to Miniconda3 py39_4.11.0 In order to continue the installation process, please review the license
   agreement.
   Please, press ENTER to continue 我们按回车键继续，之后会出现一个用户协议，按空格键直到协议最底部，然后输入“yes”接受协议，开始安装。之后需要确认想要安装的目录
   Miniconda3 will now be installed into this location:
   /root/miniconda3 - Press ENTER to confirm the location

• Press CTRL-C to abort the installation
• Or specify a different location below [/root/miniconda3] >>> /opt/miniconda3 默认的安装目录为/root/miniconda3，我们在命令行中输入 /opt/miniconda3 来更改安装目录，输入完毕后按回车键继续。
• Do you wish the installer to initialize Miniconda3
  by running conda init? [yes|no]
  [no] >>> yes 此处选择yes即可，安装完毕。

5. 将miniconda加入PATH路径 打开~/.bashrc文件，在文件末尾加入如下内容：

export PATH=“/opt/miniconda3/bin:$PATH”

修改下载源

vim /root/miniconda3/.condarc

conda info

看配置是否生效
创建虚拟环境

conda create --name vllm python=3.10 -y

会在镜像仓库下载包
激活环境

conda activate vllm

安装nvidia驱动
更新依赖

apt update
apt upgrade -y

先安装两个依赖

apt install -y build-essential dkms

nano /etc/modprobe.d/blacklist-nouv.conf
vim /etc/mod
vim /etc/modprobe.d/
vim /etc/modprobe.d/blacklist-nouv.conf
vim /etc/modprobe.d/blacklist-nouv.conf

禁用nouveau

vim /etc/modprobe.d/balcklist-nouv.conf
Nouveau
blacklist nouveau
blacklist lbm-nouveau

更新组件

update -initramfs -u

找驱动

将下载的deb文件上传到服务器

mkdir /data/program
cd /data/program
dpkg -i nvidia-driver-local-repo-ubuntu24******amd64.deb

apt upgrade
apt install -y cuda-drivers

安装完毕，重启系统

conda activate vllm
nvidia-smi

再安装cuda安装包


执行./cuda-****安装

配置环境变量

vim /root/.bashrc
source /root/.bashrc

查看是否安装成功

nvcc --version

安装torch
https://download.pytorch.org/whl/torch
查找cu124，下载对应的文件

上传服务器后，执行

pip install torch-2.4.0+cu124***.whl

最后安装vllm

pip install vllm 

会自动下载安装vllm

查看版本

vllm --version

下载模型
百度找huggingface镜像，网站下载安装deepseek
https://hf-mirror.com/
将下载文件上传服务器
修改脚本

vim deepseek-vllm.py
python deepseek-vllm.py