ollama大模型部署deepseek等大模型(云服务器全终端部署,附常见问题解决)
linux云服务器配置ollama交互deepseek等所有大模型,并进行模型位置更改等额外配置的教程。附python开发环境配置
·
一些参考链接:
1.ollama 部署depseek
[Install DeepSeek on Linux in 3 Minutes](链接)
2.ollama大模型下载位置更改
[Ollama模型下载路径替换!靠谱!(Linux版本)_修改ollama模型路径-CSDN博客](链接)
step0:环境基础(非必要不使用)
sudo add-apt-repository ppa:graphics-drivers/ppa # 加入官方ppa源
sudo apt update # 检查软件包更新列表
apt list --upgradable # 查看可更新的软件包列表
sudo apt upgrade # 更新所有可更新的软件包
step1:python环境部署(仅在云服务器开发时需要)
在清华源下载最新miniconda,链接如下(在官网网页点击对应版本,复制链接,再替换掉wget中的网址即可在终端下载):https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
1.1 miniconda下载
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda-latest-Linux-x86_64.sh # 在清华源下载对应版本的miniconda
bash Miniconda-latest-Linux-x86_64.sh # 运行安装程序
1.2python环境管理
conda create -n deepseek
conda activate deepseek
step2:0llama部署
ollama --version # 查看是否安装完成
systemctl is-active ollama.service # 检查ollama是否启用(启用显示activate)
sudo systemctl start ollama.service # 没启用,则该命令手动启动
sudo systemctl enable ollama.service # 设置开机自启动
step3:ollama配置与交互
运行7B
ollama run deepseek-r1:7b
根据云服务器厂商信息4090,最大可以运行32b
ollama run deepseek-r1:32b
其他模型可以查看ollama支持的所有模型(library),关于deepseek具体支持的命令(deepseek-r1)
step4:ollama额外配置
mkdir ~/autodl-tmp/models
curl -fsSL https://ollama.com/install.sh | sh
export OLLAMA_MODELS="deepseek/autodl-tmp/models"
source .bashrc
更多推荐


所有评论(0)