注:本系列是实操中踩坑无数的经验总结,成文备考,分享避坑。

前言 

上一篇完成了系统GPU驱动和CUDA的安装配置,本期安装conda创建xinference环境并安装pytorch。

Anaconda安装及配置

为啥安装Anaconda ?针对小白是因为我可以随便创建一个环境使劲的造使劲的作,报废了就删除这个环境,对宿主系统没有任何影响。针对同行是因为我真的喜欢完美的大而全!

一、下载安装文件 

官方下载anaconda Linux x86版

二、执行安装 

 进入安装文件目录,执行以下命令:

bash ./Anaconda3-2024.10-1-Linux-x86_64.sh

如果安装过程中没有选择初始化,默认是NO。初始化的目的是在用户环境配置文件中增加conda的相关信息,以便系统直接调用命令,打开终端直接进入conda base环境等。

安装执行以下命令:

绝对路径/conda init

下图是初始化成功后,在当前用户 .bashrc文件写入的内容 

打开Ananconda图形界面,终端输入以下命令:

anaconda-navigator

 

 三、创建xinference环境

如下图所示创建环境,注意Python版本一定选择3.11.11,xinference官方开发应该就是这个环境,之前用3.12安装过程始终有各种报错,安装不了。换成3.11.11安装一气呵成。

下图是之前安装deepin官方nvidia-driver的截图,显示已经安装了cudnn,应该不需要再单独安装cudnn了(有明了的看官,请多指教)。

 

Pytorch安装

一、进入xinference环境 

conda activate <环境名称>

二、打开Pytorch官方下载页面 

Pytorch官方下载

提示:一定要进入conda环境后执行以下安装命令!!!

pip3 install torch torchvision torchaudio

OK,如果按照我的路子一路过来,应该顺利完成了基层环境的安装配置了。如果有问题就针对排查吧,本文也无法指导。接下来就进入…… 

 

 系列之六:Xinference+Deepseek搭建AI模型推理后台

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐