
无需专业知识,让你快速部署自己的本地大模型(如DeepSeek等)
(1)我们需要去其官网下载,安装流程很简单,这里也不做赘述了Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载(2)安装好后,我们打开之后会出现下面的界面,点击设置(3)找到OLLMA API,并选择(4)选择你的模型,这里的模型列表对应于你ollama list 所展示的模型。最后保存就能进行对话啦!(5)效果展示。
前言:本项目会在部署时,科普一下每个工作的用途,方便初学者理解项目内容
一、Ollama的安装
Ollamahttps://ollama.com/(1)点击download下载即可
解释一下为什么选择Ollam,ollama的对与模型管理十分简洁,且容易理解所以这里我们就优先选择它。
(2)根据自己的系统安装合适的版本
(3)等待下载完成后,点击安装文件OllamaSetup.exe进行安装,出现下面页面后点击Install进行下载安装即可,后续安装过程十分简单就不展示,浪费读者的时间了。
最后解释一下,Ollama类似与Mysql serve一样,安装完后会变成服务器挂在后台
二、Ollama的常用操作
(1)启动命令控制行
可以在后台搜索命令控制符;也可以用win+r唤出“运行”对话框,输入cmd即可打开,如下图
(2)在命令控制行内输入以下代码,具体看下图:
# 启动Ollama服务
ollama serve
# 根据Modelfile创建一个模型
ollama create [Modelfile路径]
# 显示特定模型的详细信息
ollama show
# 运行一个模型
ollama run
# 停止一个正在运行的模型
ollama stop
# 从模型仓库拉取模型
ollama pull
# 将模型推送到模型仓库
ollama push
# 列出本地所有可用的模型
ollama list
# 列出所有正在运行的模型
ollama ps
# 复制一个模型
ollama cp
# 删除一个模型
ollama rm
# 获取关于任何命令的帮助信息
ollama help
# 显示Ollama的帮助信息
ollama -h
ollama --help
# 显示版本信息
ollama -v
ollama --version
三、Ollam部署模型(这里本项目以DeepSeek为例)
(1)点击下面链接进入官网的模型板块,你可以通过Serch models搜索自己想要的模型,本项目部署模型为deepseek-r1。具体操作如下图:
Ollamahttps://ollama.com/search
(2)找到自己想要部署的模型后,点击模型进入。进入页面后会展示模型的所有参数,你可以自己选择,本项目采用的7b模型。因为网页默认模型参数是7b,所以我们只需要复制deepseek-r1即可,其他参数会出现模型名后附带参数的情况,如deepseek-r1:8b。
(2)将ollama pull 和复制好的deepseek-r1(对应的是网页里的名字)组合(不记得命令含义的去文章第二部分查看),即可对模型进行下载,因为这里我已经部署好了就不展示下载过程。
ollama pull deepseek-r1 #模型名字
(3)等待下载完成后,输入ollama list 检查是否下载到本地。
ollama list #显示本地已下载模型
如下图:
(4)通过上一步的ollama list,你可以查看到你的模型名(对应本地模型名字),通过ollama run + 模型名,即可在命令行运行模型
ollama run deepseek-r1:latest #本地模型名
但是这样的界面明显不方便大家阅读,所以接下来我将介绍合适的GUI界面
四、介绍chatbox和 anythingllm
1、chatbox
(1)我们需要去其官网下载,安装流程很简单,这里也不做赘述了
Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载https://chatboxai.app/zh
(2)安装好后,我们打开之后会出现下面的界面,点击设置
(3)找到OLLMA API,并选择
(4)选择你的模型,这里的模型列表对应于你ollama list 所展示的模型。最后保存就能进行对话啦!
(5)效果展示
2、anythingllm
其实和上面的chatbox操作流程差不多,所以我就不写了,但是建议使用anythingllm,它集成的功能会更多,而且界面更美观,这里我就把它的官网放下面链接,想要用的去下载就行了。(怠工)
Download AnythingLLM for Desktophttps://anythingllm.com/desktop
更多推荐
所有评论(0)