1.前期准备

麒麟版本，如果有小伙伴不是此版本可以去网上查找对应版本资料

如果有小伙伴有性能需求可以去我提供的网站上找，如果只想测试一下可以在我的夸克网盘拿到所有包:"夸克网盘分享" 提取码:e7gp

2.部署Ollama

首先我在自己电脑上的虚拟机中用的是麒麟10系统是有图形化界面的，但是我部署的电脑上是没有图形化界面的所以我这篇文章全部使用命令的形式去完成整个离线部署!

1.可以看到我的ollama-linux-amd64.tgz包以在麒麟10系统中

2.执行解压命令:tar -xvf ollama-linux-amd64.tgz

3.执行完毕就会有两个包一个bin一个lib然后把bin下面的目录复制到/usr/bin目录下:

cp bin/ollama /usr/bin

4.执行命令:ollama

如果出现这个说明Ollama离线安装已经完成

5.执行:ollama serve，如下图就说明ollama已成功启动

3.部署DeepSeek

先将DeepSeek~~~.gguf包放在某个目录下然后在目录下创建Modelfile文件

内容：FROM ./DeepSeek包名称

然后在该目录下进行终端，因为我是放在桌面终端就cd到桌面(以自己情况而定)

执行命令:ollama create deepseek-r1:7b -f Modelfile

由于我麒麟系统的磁盘内存不足接下来我用centos系统进行操作(麒麟系统命令一样)

4.部署Docker

因为要部署AnythingLLM我查资料大多数都不是用docker部署，但是 由于我部署的系统是没有图形化界面的，所以要使用docker来部署

1.先将docker.tgz包放在某目录下进行解压:tar -xvf docker-28.0.4.tgz

2.解压完毕之后进入docker目录后执行命令

cp * /usr/bin

3.执行docker --version如果返回版本说明安装成功

4.由于我们是离线安装所以我们的/usr/bin目录下没有docker.service文件所以我们要创建文件并且配置

vi /usr/lib/systemd/system/docker.service

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target

重新加载和重启docker

systemctl daemon-reload
systemctl restart docker

 1.修改 /etc/docker/daemon.json

        mkdir   -p /etc/docker/ 

        vi /etc/docker/daemon.json

{
  "registry-mirrors": [
    "https://docker.1ms.run",
    "https://docker.xuanyuan.me"
  ]
}

 执行docker ps命令，如下图说明docker已完成

 5.部署AnythingLLM

将AnythingLLM.tar包拉取到系统中

把镜像加载进容器中输入命令:docker load -i anythingllm.tar

给权限这里不给权限是会报一个SQLite database error: unable to open database file错。

chmod -R 777 $HOME/anythingllm

输入命令:
 

export STORAGE_LOCATION=$HOME/anythingllm &&\
mkdir -p $STORAGE_LOCATION &&\
touch "$STORAGE_LOCATION/.env" &&\
docker run -d -p 3001:3001 --cap-add SYS_ADMIN \
	-v ${STORAGE_LOCATION}:/app/server/storage \
	-v ${STORAGE_LOCATION}/.env:/app/server/.env \
	-e STORAGE_DIR="/app/server/storage" \
	-e HOST="0.0.0.0" \
	mintplexlabs/anythingllm

如何执行docker ps -a 如果没有问题就是有一个没有启动的容器

执行:docker start 容器名称。启动它

全片完毕。如果需要配置就要去访问3001端口自行配置Ollama+DeepSeek