这里我介绍的是如何使用Ollama下载大模型和本地部署deepseek
Ollama 是一个开源项目,旨在简化大型语言模型(LLM)在本地计算机上的运行和管理。它提供了一个命令行工具,让用户能够轻松下载、运行和交互式使用各种开源语言模型(如 LLaMA、Mistral、Gemma 等),而无需复杂的配置或依赖云服务。
此外还用到chatBox软件,ChatBox 是一款开源的桌面端 AI 聊天客户端,支持多种大语言模型(LLM),提供美观易用的图形界面(GUI),适合本地或远程与 AI 交互。
不过在这里只是简单介绍他和Ollama的联动

一、安装Ollama

Ollama的官网: https://ollama.com

Ollama的安装很简单,这里就不说了

完成安装后,在电脑的右下角会出现Ollama图标

二、下载大模型

安装好ollama后,我们需要使用ollama下载大模型,如果需要把大模型下载到自己选择的路径就需要设置环境变量

设置环境变量可以选择用户变量或者系统变量,变量名是OLLAMA_MODELS,变量值是自己选择的路径

1、打开Ollama的官网,找到需要下载的模型,这里展示的是phi4,找到需要下载的大模型后,复制好下载命令:ollama run phi4

2、打开cmd即命令指示符,输入ollama run phi4

3、检查是否成功安装,我们输入ollama run phi4:latest,开始测试,出现 send a message表示可以输入想要询问的问题了

4、查看导入的大模型,如果安装成功则会出现在视图中

如果不能通过命令指示符下载,我们还有以下方法:

1)打开网页ModelScope魔搭社区(魔搭社区)

点击模型库

2)搜索的deepseek-r1,找到并点击DeepSeek-R1-Distill-Qwen-7B-GGUF,

3)选择并下载模型文件,我们选择的是DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

4)在前面我们设置了环境变量,我们下载好的文件导入设置的环境变量的路径中

5)打开路径E:\Ollamamodels并新建文件Modelfile,并使用写字板打开。

输入文字:

FROM E:\Ollamamodels\DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

然后保存文件

6)在文件路径的位置输入cmd,打开命令指示符

7)打开后,首先输入ollama,表示开始使用ollama

8)出现上示文字后,输入ollama create DeepSeek-R1-f E:\Ollamamodels\Modelfile

此命令表示使用ollama create 并根据 Modelfile 文件的内容构建一个新的模型DeepSeek-R1,然后回车

9)输入ollama list,检查是否安装成功,对比前面的数据,我发现,如果之前安装后,在进行手动安装,会将原来的大模型进行覆盖

10)在deepseek的modified处有5 minutes ago,表示大约五分钟前安装,这样我们已经安装成功

再输入ollama run deepseek-r1:latest 运行模型

这个时候我们就可以使用导入的deepseek-r1模型了

三、安装ChatBOX

1、依次点击安装包,下一步,安装。如下

2、安装好chatbox后,我们打开软件,点击设置。

3、设置AI模型,如下图,因为我们下载并安装了Ollama,所以在模型提供方选择Ollama。

在前面我们利用Ollama下载了三个大模型,在选择模型提供方为Ollama后,模型选择中,也出现了我们下载的三个大模型,deepseek_r1,phi4,qwen2.5如下图,我们选择deepseek-r1,

还可以设置上下文的消息数量上限和严谨度

还可以设置页面的显示,如设置语言,字体大小等,可以根据自己的喜爱来设置

4、如图,点击新对话,新建对话,输入你想询问的内容或测试的数据

除了新建对话外,我们还可以使用chatBox的其他功能

  1. Just chat基础自由对话,无特定场景限制,适合日常问答或开放话题聊
  2. Markdown 101 (Example):提供 Markdown 语法教学或示例,适合需要学习 Markdown 格式的用户(如代码、表格、标题等)。
  3. Software Developer (Example)开发者模式包含代码编写、调试、技术问答(如 Python、JavaScript 等)的预设提示
  4. Translator (Example)翻译助手(如截图中的示例),支持多语言互译(英法、英中等),适合快速翻译句子或短语。
  5. Social Media Influencer (Example)社交媒体文案生成,帮助撰写吸引人文案或标签。
  6. Travel Guide (Example)旅行指南,提供目的地推荐、行程规划、当地文化贴士等。
  7. 翻译助手 (示例)中文版翻译功能,侧重中英互译或其他语言组合。
  8. 夸夸机 (示例)娱乐功能,生成赞美或幽默的夸奖语句
  9. 小红书文案生成器 (示例)专门生成符合 小红书风格 的文案(如种草文、美妆测评等)
  10. 新图片:输入想要图片的文字描述生成精美图片(目前仅 Chatbox AI、 OpenAI 与 Azure OpenAI 支持该功能,如有需要请打开设置切换 AI 模型提供方)
  11. 我的搭档:

点击创建新的ai搭档,出现设计窗口

根据自己想要的ai搭档设计,输入人物设定,设定后点击保存

保存后,会出现在主页面的左边的侧边栏上,如图,右边的第一句话便是你所写的设计文案。

如果不想其出现在侧边栏上,点击表示的三个点,进行删除,当然删除还可以在我的搭档中找到刚刚设计的ai搭档

或者直接添加自带的“搭档”,点击后就会直接出现在主页面的侧边栏上

以上是我部署deepseek的过程,仅供参考

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐