前言:本项目会在部署时,科普一下每个工作的用途,方便初学者理解项目内容

一、Ollama的安装

Ollamahttps://ollama.com/(1)点击download下载即可

解释一下为什么选择Ollam,ollama的对与模型管理十分简洁,且容易理解所以这里我们就优先选择它。

(2)根据自己的系统安装合适的版本

(3)等待下载完成后,点击安装文件OllamaSetup.exe进行安装,出现下面页面后点击Install进行下载安装即可,后续安装过程十分简单就不展示,浪费读者的时间了。

最后解释一下,Ollama类似与Mysql serve一样,安装完后会变成服务器挂在后台

二、Ollama的常用操作

(1)启动命令控制行

可以在后台搜索命令控制符;也可以用win+r唤出“运行”对话框,输入cmd即可打开,如下图

(2)在命令控制行内输入以下代码,具体看下图:

# 启动Ollama服务
ollama serve

# 根据Modelfile创建一个模型
ollama create [Modelfile路径]

# 显示特定模型的详细信息
ollama show

# 运行一个模型
ollama run

# 停止一个正在运行的模型
ollama stop

# 从模型仓库拉取模型
ollama pull

# 将模型推送到模型仓库
ollama push

# 列出本地所有可用的模型
ollama list

# 列出所有正在运行的模型
ollama ps

# 复制一个模型
ollama cp

# 删除一个模型
ollama rm

# 获取关于任何命令的帮助信息
ollama help

# 显示Ollama的帮助信息
ollama -h
ollama --help

# 显示版本信息
ollama -v
ollama --version

三、Ollam部署模型(这里本项目以DeepSeek为例)

(1)点击下面链接进入官网的模型板块,你可以通过Serch models搜索自己想要的模型,本项目部署模型为deepseek-r1。具体操作如下图:

Ollamahttps://ollama.com/search

(2)找到自己想要部署的模型后,点击模型进入。进入页面后会展示模型的所有参数,你可以自己选择,本项目采用的7b模型。因为网页默认模型参数是7b,所以我们只需要复制deepseek-r1即可,其他参数会出现模型名后附带参数的情况,如deepseek-r1:8b。

(2)将ollama pull 和复制好的deepseek-r1(对应的是网页里的名字)组合(不记得命令含义的去文章第二部分查看),即可对模型进行下载,因为这里我已经部署好了就不展示下载过程。

ollama pull deepseek-r1 #模型名字

(3)等待下载完成后,输入ollama list 检查是否下载到本地。

ollama list #显示本地已下载模型

如下图:

(4)通过上一步的ollama list,你可以查看到你的模型名(对应本地模型名字),通过ollama run + 模型名,即可在命令行运行模型

ollama run deepseek-r1:latest #本地模型名

但是这样的界面明显不方便大家阅读,所以接下来我将介绍合适的GUI界面

四、介绍chatbox和 anythingllm

1、chatbox

(1)我们需要去其官网下载,安装流程很简单,这里也不做赘述了

Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载https://chatboxai.app/zh

(2)安装好后,我们打开之后会出现下面的界面,点击设置

(3)找到OLLMA API,并选择

(4)选择你的模型,这里的模型列表对应于你ollama list 所展示的模型。最后保存就能进行对话啦!

(5)效果展示

2、anythingllm

其实和上面的chatbox操作流程差不多,所以我就不写了,但是建议使用anythingllm,它集成的功能会更多,而且界面更美观,这里我就把它的官网放下面链接,想要用的去下载就行了。(怠工)

Download AnythingLLM for Desktophttps://anythingllm.com/desktop

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐