Ubuntu 24搭建Ollama+ DeepSeek局域网服务器

Ubuntu 24搭建Ollama+ DeepSeek局域网服务器。

不虞之隙

21人浏览 · 2025-04-11 18:43:57

不虞之隙 · 2025-04-11 18:43:57 发布

学习目标：

Ubuntu 24搭建Ollama+ DeepSeek局域网服务器

学习内容：

安装Ubuntu 服务器

通过ubuntu官网下载ubuntu 24服务器版本
刻录光盘（也可以使用U盘）
用光盘启动PC机器
最小化安装Ubuntu Server，使用自动分区

安装Ollama

可以到ollama官网查看信息
https://ollama.com
下载Linux版本
https://ollama.com/download/linux

切换到 root用户，执行如下指令

curl -fsSL https://ollama.com/install.sh | sh

如果执行失败，则多试几次即可。
执行完毕后，基本配置好了。

修改服务

vi /etc/systemd/system/ollama.service

参考《大模型部署框架 Ollama：环境变量设置与常用 CLI 命令》
https://zhuanlan.zhihu.com/p/23824503091

添加如下内容：
//允许其它人访问(如果允许其他人访问，那么这里有重大的安全问题，且ollama暂无认证机制)，端口8080
//通常情况下，保持127.0.0.1（或不设置这一条），仅允许本机访问，然后使用反向代理允许其他人访问，同时对其进行严格的限制。
Environment=“OLLAMA_HOST=0.0.0.0:8080”
//允许跨域访问
Environment=“OLLAMA_ORIGINS=*”
//模型存放的位置
Environment=“OLLAMA_MODELS=/llm_models”
//模型在内存中存放的时间
Environment=“OLLAMA_KEEP_ALIVE=10”

完成后的内容如下：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0:8080"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/llm_models"
Environment="OLLAMA_KEEP_ALIVE=10"


[Install]
WantedBy=default.target

启动服务

systemctl daemon-reload
systemctl restart ollama
systemctl enable ollama

关闭防火墙

下载模型

模型务必通过ollama服务器的web Api来下载

首先创建一个目录保存模型，与/etc/systemd/system/ollama.service中的配置OLLAMA_MODELS保持一致

mkdir /llm_models

将所有者设置为ollama，否则ollama账户权限写该目录

chown ollama /llm_models

查找模型
https://ollama.com/search
当前排名第一的就是deepseek，
在这里插入图片描述
点击deepseek-r1

在这里插入图片描述
默认情况下，使用7b(70亿参数)模型，在普通的P C机上可以运行，这里我选8B的

在这里插入图片描述
记录复制下来的内容，这个是本地命令窗口运行的指令，我们暂时不用它，这里只是获取模型名称，接下来用。

ollama run deepseek-r1:8b

进行请求，model参数重，填入上面的模型名称。

curl -X POST http://192.168.250.115:8080/api/pull -d '{"model": "deepseek-r1:8b"}'

接下来一堆输出，直到出现{“status”:“success”}后，模型下载完毕。

e7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"pulling 0cb05c6e4e02","digest":"sha256:0cb05c6e4e02614fa7f4c5d9ddcd5ae7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"pulling 0cb05c6e4e02","digest":"sha256:0cb05c6e4e02614fa7f4c5d9ddcd5ae7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"verifying sha256 digest"}
{"status":"writing manifest"}
{"status":"success"}