最近deepseek热度很高,但“服务器繁忙,请稍后再试”频繁出现比较烦人,尝试本地化部署一套deepseek。

新开了一台虚拟机,因为没有显卡,只能用纯CPU模式,配置了8CPU+32GB内存+1TB硬盘。

操作系统用ubuntu 24.04,mini安装模式。

一、系统准备

1、更新系统

# apt update && sudo apt upgrade -y

2、安装基础依赖

# apt install -y curl wget python3-pip

二、安装Ollama

1、通过脚本安装Ollama

# curl -fsSL https://ollama.com/install.sh | sh

2、验证安装结果

ollama --version

3、修改监听地址(开放远程访问):

# vi /etc/systemd/system/ollama.service

在[Service]部分添加:

Environment="OLLAMA_HOST=0.0.0.0:11434"

4、重启服务:

# systemctl daemon-reload

# systemctl restart ollama

三、部署DeepSeek-R1模型

1、选择模型版本

硬件配置低,只能选择1.5B或7B参数版,选了7B。

2、下载模型

# ollama pull deepseek-r1:7b

3、运行模型

# ollama run deepseek-r1:7b

4、输入测试问题(如“你是谁?”)验证响应是否正常。

到这里,DeepSeek的安装就成功了,但这个字符终端模式用起来不太方便,所以下一步安装Open WebUI,便于用网页访问。Open WebUI的安装采用docker方式,因为本机系统是最小安装,需先安装docker。

五、docker安装

1、更新系统并安装基础工具

更新包索引,升级所有已安装的包

# apt update

# apt upgrade -y

安装必要工具(curl用于下载,gnupg用于密钥管理,ca-certificates更新证书)

#apt install -y curl apt-transport-https ca-certificates gnupg

2、添加Docker官方GPG密钥和APT仓库

添加Docker的GPG密钥

#curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

这一步报错了

手动ping download.docker.com,显示有丢包,应该是网络不稳定原因,反复执行几次后成功。

添加Docker的APT仓库(适配Ubuntu 24.04代号"noble")

# echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu noble stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

3、安装Docker引擎

# sudo apt update

安装Docker CE及相关组件

# apt install -y docker-ce docker-ce-cli containerd.io

4、启动Docker服务并设置开机自启

启动Docker服务

# systemctl start docker

设置开机自启

# systemctl enable docker

5、验证安装

 运行测试容器

# docker run hello-world

这一步也有报错,docker默认仓库无法访问到。解决办法是修改/etc/docker/daemon.json,配置镜像。加入可用镜像后,hello-world运行成功。

Docker安装完毕后,开始Open WebUI的安装。

五、安装Open WebUI可视化界面

1、Docker方式安装

# docker run -d -p 3000:8080 -v ~/ollama:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2、测试WEB界面

访问http://192.168.0.216:3000,打开WEB界面,系统会提示输入用户名、电子邮件、密码创建管理员,然后登录到系统。

登录后发现一个问题,左上角下拉菜单中没有模型可供选择。查询后此问题是Open WebUI 未正确连接到 Ollama 服务,原因是网络配置问题导致Docker 容器默认无法直接访问到宿主机服务。解决办法是修正 Docker 命令,在原有命令基础上 添加网络配置。

# docker run -d \ --name open-webui \ --add-host=host.docker.internal:host-gateway \ -p 3000:8080 \ -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \ --volume open-webui:/app/backend/data \ ghcr.io/open-webui/open-webui:main

重启服务后,再次登录Open WebUI,左上角出现deepseek-r1:7b选项。

本次测试完成。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐