
本地化部署DeepSeek r1
最近deepseek热度很高,但“服务器繁忙,请稍后再试”频繁出现比较烦人,尝试本地化部署一套deepseek。
新开了一台虚拟机,因为没有显卡,只能用纯CPU模式,配置了8CPU+32GB内存+1TB硬盘。
操作系统用ubuntu 24.04,mini安装模式。
一、系统准备
1、更新系统
# apt update && sudo apt upgrade -y
2、安装基础依赖
# apt install -y curl wget python3-pip
二、安装Ollama
1、通过脚本安装Ollama
# curl -fsSL https://ollama.com/install.sh | sh
2、验证安装结果
ollama --version
3、修改监听地址(开放远程访问):
# vi /etc/systemd/system/ollama.service
在[Service]部分添加:
Environment="OLLAMA_HOST=0.0.0.0:11434"
4、重启服务:
# systemctl daemon-reload
# systemctl restart ollama
三、部署DeepSeek-R1模型
1、选择模型版本
硬件配置低,只能选择1.5B或7B参数版,选了7B。
2、下载模型
# ollama pull deepseek-r1:7b
3、运行模型
# ollama run deepseek-r1:7b
4、输入测试问题(如“你是谁?”)验证响应是否正常。
到这里,DeepSeek的安装就成功了,但这个字符终端模式用起来不太方便,所以下一步安装Open WebUI,便于用网页访问。Open WebUI的安装采用docker方式,因为本机系统是最小安装,需先安装docker。
五、docker安装
1、更新系统并安装基础工具
更新包索引,升级所有已安装的包
# apt update
# apt upgrade -y
安装必要工具(curl用于下载,gnupg用于密钥管理,ca-certificates更新证书)
#apt install -y curl apt-transport-https ca-certificates gnupg
2、添加Docker官方GPG密钥和APT仓库
添加Docker的GPG密钥
#curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
这一步报错了
手动ping download.docker.com,显示有丢包,应该是网络不稳定原因,反复执行几次后成功。
添加Docker的APT仓库(适配Ubuntu 24.04代号"noble")
# echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu noble stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
3、安装Docker引擎
# sudo apt update
安装Docker CE及相关组件
# apt install -y docker-ce docker-ce-cli containerd.io
4、启动Docker服务并设置开机自启
启动Docker服务
# systemctl start docker
设置开机自启
# systemctl enable docker
5、验证安装
运行测试容器
# docker run hello-world
这一步也有报错,docker默认仓库无法访问到。解决办法是修改/etc/docker/daemon.json,配置镜像。加入可用镜像后,hello-world运行成功。
Docker安装完毕后,开始Open WebUI的安装。
五、安装Open WebUI可视化界面
1、Docker方式安装
# docker run -d -p 3000:8080 -v ~/ollama:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
2、测试WEB界面
访问http://192.168.0.216:3000,打开WEB界面,系统会提示输入用户名、电子邮件、密码创建管理员,然后登录到系统。
登录后发现一个问题,左上角下拉菜单中没有模型可供选择。查询后此问题是Open WebUI 未正确连接到 Ollama 服务,原因是网络配置问题导致Docker 容器默认无法直接访问到宿主机服务。解决办法是修正 Docker 命令,在原有命令基础上 添加网络配置。
# docker run -d \ --name open-webui \ --add-host=host.docker.internal:host-gateway \ -p 3000:8080 \ -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \ --volume open-webui:/app/backend/data \ ghcr.io/open-webui/open-webui:main
重启服务后,再次登录Open WebUI,左上角出现deepseek-r1:7b选项。
本次测试完成。
更多推荐
所有评论(0)