一、准备文件

本地服务器是Ubuntu20.04，输入命令uname -a即可查看

部署方式有多样，点击Ollama访问官网

可复制命令直接粘贴下载，但是过程比较慢，所以我推荐下面这种方式

从githubReleases · ollama/ollama · GitHub上下载ollama的tar包进行解压，如图

二、安装Ollama

如果系统是x86_64的就选择amd64,下载完成后传到服务器上面进行解压，输入命令

sudo tar -zxf ollama-linux-amd64.tgz -C /usr/local

然后进行赋权

sudo chmod +x /usr/local/bin/ollama 

添加ollama用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

创建service文件（方便后面启动服务）

sudo vim /etc/systemd/system/ollama.service

service文件内容如下

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
[Install]
WantedBy=default.target

加载守护进程

sudo systemctl daemon-reload

启用

sudo systemctl enable ollama

验证

ollama -v

三、下载模型

1、deepseek

Ollama官网搜索deepseek r1

或者输入命令下载你想要的模型

ollama pull deepseek-r1:7b
 
ollama pull deepseek-r1:8b
 
ollama pull deepseek-r1:14b
 
ollama pull deepseek-r1:32b
 
ollama pull deepseek-r1:70b
 
ollama pull deepseek-r1:671b

 等待下载，如果到后面下载慢的话ctrl +c结束然后在继续下载速度就会变快

输入命令

ollama run deepseek-r1:7b

开始对话

2、千问

输入命令

ollama run qwen:7b

等待下载

开始对话

四、暴露11434端口服务

因为Ollama的11434端口默认是127.0.0.1:11434其它的电脑通过服务器IP去访问是不通的，有两个解决方案

1、在启动时设置为0.0.0.0启动

 

set OLLAMA_HOST=0.0.0.0 && ollama serve

2、修改service文件，增加环境为0.0.0.0在上述已经增加过了

修改配置文件需要重新加载守护进程然后重启服务（daemon-reload）

验证