安装ollama

1、官网地址 点击前往

2、添加代理

2.1 打开笔记本代理 （这里因为台式改为linux服务器，需要第二台电脑为台式机开启代理）

​

# 192.168.0.28 笔记本电脑的ip地址，服务器和笔记本电脑在同一局域网，且笔记本电脑防火墙已关闭
[root@localhost /]# export http_proxy=http://192.168.0.28:7890
[root@localhost /]# export https_proxy=http://192.168.0.28:7890

3、安装显卡驱动

3.1 显卡驱动linux安装 点击前往

​ 注意 : 需要选择与自己linux系统对应的安装包，当前选择的是rocky linux 9.5

3.2 安装步骤

• CUDA 工具包安装程序

  wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda-repo-rhel9-12-8-local-12.8.0_570.86.10-1.x86_64.rpm
  sudo rpm -i cuda-repo-rhel9-12-8-local-12.8.0_570.86.10-1.x86_64.rpm
  sudo dnf clean all
  sudo dnf -y install cuda-toolkit-12-8
  

• 驱动程序安装程序

  # NVIDIA 驱动程序说明（选择一个选项）
  # 要安装开放内核模块风格：
  sudo dnf -y module install nvidia-driver:open-dkms
  # 要安装旧版内核模块版本：
  sudo dnf -y module install nvidia-driver:latest-dkms
  

4、安装ollama

[root@localhost ollama]# curl -fsSL https://ollama.com/install.sh | sh
>>> Cleaning up old version at /usr/local/lib/ollama
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
>>> NVIDIA GPU installed.
# 编辑ollama配置
[root@localhost ollama]# vim /etc/systemd/system/ollama.service
# 添加
Environment="OLLAMA_HOST=0.0.0.0"
# 重启服务
[root@localhost ollama]# systemctl daemon-reload
[root@localhost ollama]# systemctl restart ollama

# 启动ollama
[root@localhost ollama]# systemctl start ollama
# 查询ollama状态
[root@localhost ollama]# systemctl status ollama
# 重启服务
[root@localhost ollama]# systemctl daemon-reload
[root@localhost ollama]# systemctl restart ollama

5、关闭防火墙 (为了同一局域网的其他电脑访问)

• 停止 firewalld 服务：

  sudo systemctl stop firewalld
  

• 禁用 firewalld 在开机时自动启动：

  sudo systemctl disable firewalld
  

• 验证防火墙状态：

  sudo systemctl status firewalld
  

6、查看是否成功安装

• 同一局域网电脑访问 http://192.168.0.11:11434/ (192.168.0.11:服务器ip地址)

  

7、下载模型

• 下载模型

  ollama pull deepseek-r1:7b
  

• 运行模型

  ollama run deepseek-r1:7b
  

​