1.Ollama部署

Ollama下载地址

根据自己需求选择版本下载

1.1 安装Ollama

1. 下载安装脚本并执行

curl -fsSL https://ollama.com/install.sh | sh

1.2 配置Ollama

1. 配置模型默认存储位置

可以把模型放在数据盘下

#创建目录
[root@10-60-236-43 ~]# mkdir -p /opt/ollama/models

#授予权限
[root@10-60-236-43 ~]# chown -R ollama.ollama /opt/ollama
[root@10-60-236-43 ~]# chmod 755 /opt/ollama

#修改service文件
[root@10-60-236-43 ~]# vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_MODELS=/opt/ollama/models"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

#新增三行参数解释
Environment="OLLAMA_MODELS=/opt/ollama/models"   #模型存放得路径
Environment="OLLAMA_HOST=0.0.0.0" #表示接受来自任何网络接口的连接。
Environment="OLLAMA_ORIGINS=*"  #表示允许来自任何来源的跨域请求。

#重新加载，重启
[root@10-60-236-43 ~]# vim /etc/systemd/system/ollama.service
[root@10-60-236-43 ~]# systemctl daemon-reload ; systemctl start ollama
[root@10-60-236-43 ~]# systemctl status ollama

3. 访问web页面

http://IP:11434/

出现Ollama is running即可

4. 检查模型目录

[root@10-60-236-43 opt]# ll ollama/models/
total 0
drwxr-xr-x 2 ollama ollama 6 Feb 25 11:27 blobs
#出现blobs表示模型目录也修改成

1.3 下载deepseek模型

deepseek模型下载地址

根据自己硬件情况下载对应得模型

• 模型介绍及硬件需求

模型参数	特点	适用场景	GPU 显存需求	CPU 核心数	内存需求
1.5B	轻量级模型，参数量少，模型规模小	适用于轻量级任务，如短文本生成、基础问答等	4GB（4-bit 量化）	4 核	8GB
7B	平衡型模型，性能较好，硬件需求适中	适合中等复杂度任务，如文案撰写、表格处理、统计分析等	8GB（4-bit 量化）	8 核	16GB
8B	性能略强于 7B 模型，适合更高精度需求	适合需要更高精度的轻量级任务，如代码生成、逻辑推理等	10GB（4-bit 量化）	8 核	24GB
14B	高性能模型，擅长复杂任务，如数学推理、代码生成	可处理复杂任务，如长文本生成、数据分析等	16GB（4-bit 量化）	12 核	32GB
32B	专业级模型，性能强大，适合高精度任务	适合超大规模任务，如语言建模、大规模训练、金融预测等	24GB（4-bit 量化 + 多卡）	16 核	64GB
70B	顶级模型，性能最强，适合大规模计算和高复杂任务	适合高精度专业领域任务，如多模态任务预处理	48GB（4-bit 量化 + 4 卡）	32 核	128GB
671B	超大规模模型，适用于对准确性和性能要求极高的场景	适用于大型科研机构进行前沿科学研究、大型企业进行复杂的商业决策分析等	无单机方案，需分布式集群	256 核以上	512GB+

1. 安装模型

根据模型的大小，等待的时间不同

[root@10-60-236-43 ~]# ollama run deepseek-r1:14b
#注：我下载完这个模型之后 直接运行了 问了几个问题发现可以使用 我就退出了

2. 查看模型

[root@10-60-236-43 ~]# ollama list
NAME               ID              SIZE      MODIFIED
deepseek-r1:14b    ea35dfe18182    9.0 GB    2 minutes ago

3. 体验模型

[root@10-60-236-43 ~]# ollama run deepseek-r1:14b
>>> 你好
<think>
</think>
你好！很高兴见到你，有什么我可以帮忙的吗？
>>> /bye to exit.

2.安装MaxKB可视化页面

此步骤是创建一个web可视化页面，让所有人访问使用的，如果只是自己用在本地装个客户端即可。请看第3步

2.1 下载镜像

[root@10-60-236-43 ~]# docker pull registry.fit2cloud.com/maxkb/maxkb

2.2 运行容器

[root@10-60-236-43 ~]# docker run -d --name=maxkb --restart=always -p 8080:8080 -v /opt/maxkb/postgresql-data:/var/lib/postgresql/data -v /opt/maxkb/python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb
8aa309ce8fa15fc38b378815a1d4b67a3dffc41809d53d0bd251085c86b6041f

2.3 配置MaxKB

1. 访问IP:8080端口

默认账号：admin/MaxKB@123…

2. 添加模型
   

3. 选择Ollama

4. 填写对应信息

5. 创建应用

6. 配置应用

7. 测试deepseek

3.配置Chatbox AI可视化页面

Chatbox AI地址

1. 根据自己情况选择
   这里我选择了Windows客户端，是中文的
   

2. 配置Chatbox

第一次运行会弹出框，选择配置自己的API

3. 选择Ollama API

4. 配置自己Ollama的地址。云主机提前放开11434

模型下拉框选择咱们下载的模型，可以通过ollama list查看

5. 使用deepseek

成功部署