KOS团队提供了容器大模型镜像，如：deepseek-kos-docker-1.5b.tar，具体部署和使用步骤如下：（我们提供deepseek-kos-docker-1.5b.tar镜像）

整体架构：

图1.1 KOS容器大模型架构

软硬件环境

本次使用的软硬件环境如下:

机型：NF5466G7

操作系统：Keyarchos5.8 SP2

内存：256G

磁盘空间：4T

Ollama： 0.5.7

1 镜像制作

本文的镜像制作是基于KOS最新版KOS5.8-SP2 U1的docker镜像进行的。

在基础docker镜像中进行大模型的配置，之后导出新的docker镜像文件，供后续使用。

Docker镜像下载链接：http://kos.ieisystem.com/kos-isos/kos_docker/KeyarchOS-5.8-SP2-U1-x86_64-docker-20241211.tar

进行具体方法如下：

第一步：

加载KOS的容器镜像，

docker load -i KeyarchOS-5.8-SP2-U1-x86_64-docker-20241211.tar

图1.2 原始镜像加载

第二步：

将宿主机的/mnt/aitest目录挂载到容器镜像中的/ollama下，挂载宿主机目录的命令参数：

-v 宿主机目录:目的目录

本文提供了自动部署脚本，创建docker镜像，需要使用DockerFile文件。

DockerFile文件如下：以7b模型为例:

# 使用本地镜像作为基础镜像

FROM keyarchos:5.8sp2u1

#当前目录下需要放置ollama-linux-amd64.tgz

COPY ollama-linux-amd64.tgz /ollama-linux-amd64.tgz

RUN dnf -y install tar

RUN cd / && tar xvf ollama-linux-amd64.tgz -C /root && cp -r /root/bin/* /bin && cp -r /root/lib/* /lib && rm -rf ollama-linux-amd64.tgz /root/*

# 设置环境变量

ENV OLLAMA_HOST=0.0.0.0:11434

# 映射容器内的端口到主机的端口（例如：容器内端口 14144 映射到主机端口 14144）

EXPOSE 11434

COPY start-7b.sh /start-7b.sh

RUN chmod +x /start-7b.sh

CMD ["/start-7b.sh"]

文档下载链接：

http://kos.ieisystem.com/kos-isos/kos_docker/docker_cpu/Dockerfile

第一步：制作镜像，根据dockerfile构建image，命令如下：

docker build -t deepseek-kos-7b .

图1.3自动构建

第二步：导出构建的image，命令如下：

docker save -o deepseek-kos-7b01.tar deepseek-kos-7b:latest

图1.4 镜像导出

第三步：加载docker镜像

docker load -i deepseek-kos-7b.tar

图1.5 加载镜像

第四步：启动docker容器

查看容器镜像

图1.6进入镜像启动start

docker run -d -p 11464:11434 --name ds-kos-7b deepseek-kos-7b:latest

注意：

-p 11434:11434是将容器中的11434端口开放。

ds-kos-7b：容器的名称，注意不可与已经使用的容器重名。

deepseek-kos-7b:latest：容器镜像的名称和标签，可通过docker images查询

图1.7 查看镜像

docker run -d -p 11464:11434 --name ds-kos-7b0302 deepseek-kos-7b:latest

图1.8 镜像ID

第五步：进入镜像执行一键执行start，命令如下：

docker exec -it c8aea91d41cab51ab32d04fb248a3cd0bfbb8caf8f00cb8aad54cb738ed1c612 bash

c8aea91d41cab51ab32d04fb248a3cd0bfbb8caf8f00cb8aad54cb738ed1c612 容器ID是可变的，与步骤四有关。

为了启动大模型，进入容器，执行命令 ： sh /start_7b.sh

注：

start_7b.sh 文件下载链接：http://kos.ieisystem.com/kos-isos/kos_docker/start_cpu/start-7b.sh

如下图所示：

图1.14 执行容器镜像

第六步：开放主机防火墙端口,执行如下命令：（不推荐直接关闭防火墙服务）

firewall-cmd --zone=public --add-port=11434/tcp --permanent && firewall-cmd --reload

2 镜像使用测试

制作完成镜像后可以通过docker服务进行加载启用，具体步骤如下：

第一步：KOS下在线安装docker。

第二步：将deepseek-kos-docker-xxb.tar拷贝到KOS系统下。

第三步：以deepseek-kos-docker-1.5b.tar为例加载镜像，如下图：

图2.1 加载镜像

第四步：运行镜像，创建的镜像开启，需要开对外的端口。

如：

docker run -d -p 11434:11434 --name ds-kos-1.5b deepseek-kos-docker-1.5b:latest

图2.2 运行容器

第五步：放开防火墙端口。

firewall-cmd --zone=public --add-port=11888/tcp --permanent && firewall-cmd --reload

图2.3 开放防火墙

第六步：验证

安装chatbox，设置如下：

模型提供方选择PLLAMA API，API域名设置，模型可以自动选择出来。

图2.4 chatbox配置

使用示例：

图2.5 chatbox 使用

3 常见问题

启动的时候名称不可重复，否则会报错，如图3.1.

图3.1 冲突截图

说明已经存在相同名称的镜像在运行。

解决方法：修改容器的名称后再启动。