使用飞腾d3000本地部署deepseek，通过open-webui与deepseek交互。

1 软件安装

1.1 安装操作系统

系统镜像使用Kylin-Desktop-V10-SP1-2403-update2-Release-20241011-ARM64.iso
内核版本5.4.18-125-generic #114-KYLINOS SMP Thu Oct 10 05:57:14 UTC 2024

1.2 安装ollama

ollama 是一个强大的工具，它为模型的管理和运行提供了便利。它可以简化模型的下载、配置和启动过程，让用户能够快速地将不同的模型集成到自己的工作流程中。例如，在处理多个不同类型的大语言模型时，ollama 可以轻松管理这些模型之间的切换和调用，提高开发效率。
官网推荐安装命令是curl -fsSL https://ollama.com/install.sh | sh

使用该命令安装时会连接github超时。

这样的话可以在github上面把安装包下载下来，通过命令安装。
目前最新版是v0.5.7。

下面这个链接可以加速下载。
https://hub.gitmirror.com/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux-arm64.tgz
下载完成修改脚本，把下载的链接注释，解压命令如下：
新增$SUDO tar -xzf ollama-linux-arm64.tgz -C "$OLLAMA_INSTALL_DIR"

然后执行安装脚本。

最后安装完成，然后因为检测到了amd显卡又开始下载ROCm安装包，这里不使用GPU，先注释代码跳过。

安装完成，输入ollama提示如下说明安装成功。

然后可以部署模型，比如ollama run deepseek-v3安装v3，提示有404GB需要下载，

因为硬盘空间和显卡原因，这里使用r1模型1.5b体验。

1.3 安装deepseek

ollama仓库里面可以搜索到各个版本的deepseek，比如r1版本链接 https://ollama.com/library/deepseek-r1

比如我安装r1:1.5b，那么命令是ollama run deepseek-r1:1.5b

2 运行deepseek

ollama run deepseek-r1:1.5b

3 安装open-webui

使用open-webui可以通过网页与deepseek交互。

3.1 安装docker

3.1.1 拉取open-webui镜像

参考 https://docs.openwebui.com/getting-started/quick-start/#step-1-pull-the-open-webui-image

docker pull ghcr.io/open-webui/open-webui:main
拉取的时候报错，原因是时间未同步，过一段时间后连接成功，开始拉去镜像。

root@user-pc:~# docker pull ghcr.io/open-webui/open-webui:main
Get https://ghcr.io/v2/: x509: certificate has expired or is not yet valid

然后ghcr.io速率很慢，使用docker镜像加速。

# 使用docker国内源拉取镜像
docker pull ghcr.nju.edu.cn/open-webui/open-webui:main
# 重命名镜像
docker image tag ghcr.nju.edu.cn/open-webui/open-webui:main open-webui/open-webui:main
# 删除原来的镜像名称
docker rmi ghcr.nju.edu.cn/open-webui/open-webui:main

3.2 创建open-webui容器

最开始使用下面命令创建容器，无法连接到ollama，提示Open WebUI: Server Connection Error

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

参考 https://www.cnblogs.com/qumogu/p/18235298

最终使用下面命令创建容器，同时修改ollama.service之后可以连上ollama。

# 端口默认docker的8080
docker run -d --network=host -v /opt/openwebui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always open-webui/open-webui:main

解释：

• -d：后台运行容器。
• -v open-webui:/app/backend/data：将 Open WebUI 的数据目录挂载到 Docker 卷 open-webui，这里将docker的文件挂载到主机的/opt/openwebui目录
• –name open-webui：为容器命名。
• –restart always：设置容器始终自动重启。
• open-webui/open-webui:main：使用的 Docker 镜像，上面进行了重命名。
• –network=host，使用本机网络
• -e OLLAMA_BASE_URL=http://127.0.0.1:11434 设置ollama的连接地址。

root@user-pc:/opt/openwebui# cat /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"
Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=default.target
root@user-pc:/opt/openwebui# 

4 通过web访问deepseek

通过上面的部署，已经可以通过网络访问deepseek了，ip是host的ip，端口默认8080。

推理过程中可以看到CPU占用率一直处于较高的状态。