一、安装ollama

访问https://ollama.com/download  下载并安装对应系统的ollama。

Ollama 是一个开源工具,旨在帮助用户在本地机器上轻松运行和管理大型语言模型(LLM)。它提供了一个简单易用的命令行界面,可以下载、安装和运行各种预训练的 LLM,而无需复杂的配置和依赖项管理。

例如:CentOS下执行install.sh安装脚本

curl -fsSL https://ollama.com/install.sh | sh

安装完毕后验证ollama版本

/usr/local/bin/ollama –v 

二、加载deepseek模型

访问如下链接,可以看到deepseek模型列表

deepseek-r1

选择你要加载的模型,并复制对应的命令。

例如1.5B的模型执行如下命令:

/usr/local/bin/ollama run deepseek-r1:1.5b

下载安装完毕,键入任意问题,就可以自由聊天了。

输入/?可以查看帮助。

输入/bye可以退出模型。

就像使用百度搜索你得学会搜索的技巧,和deepseek对话你就得学会提问的技巧,具体可

参考官方示例:

Prompt Library | DeepSeek API Docs

三、安装GUI图形交互界面

成功安装了大型语言模型(LLM),但直接使用 LLM 通常需要通过命令行或者 API 进行交互,对于小白或普通用户来说并不方便,推荐一些常用的软件,如:LM Studio、ChatboxAI、NextJS Ollama LLM UI、OpenUI、Xinferenc 作为图形用户界面(GUI)工具。

本文采用C/S部署方式,即LLM服务安装在CentOS中,GUI客户端安装在Windows中。

在Centos系统中修改ollama的监听服务。执行命令如下:

vi /etc/systemd/system/ollama.service

参考红色剪头输入CentOS服务器的IP并保存配置,例如:10.0.0.1

Environment="OLLAMA_HOST=10.0.0.1"

重新加载systemd配置并重启Ollama 服务:

systemctl daemon-reload

systemctl restart ollama

查看监听的IP和端口。

sudo ss -tulnp | grep 11434

四、 chatbox对接deepseek

本文使用chatbox对接Ollama+deepseek,可从如下链接下载chatbox客户端。

https://chatboxai.app/zh#download

安装并运行chatbox客户端,根据弹窗提示进行配置。

参考下图配置IP:Port,并选择模型。

五、使用deepseek愉快沟通

可以和deepseek愉快沟通了!

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐