一、前言

搜索了一下现在大火的DeepSeek本地部署,能找到的教程几乎都是在windows系统下的部署。就写一篇在Mac上部署的教程吧。事实上和windows部署并没有什么区别。只是为了照顾一下真小白。都是从学习的某个阶段过来的,最开始学习不熟悉的知识的时候,每个字都能看懂,连起来就不知道什么意思的感觉,实在是太痛苦了。

二、软件

Ollama:是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,能够在本地环境快速实验、管理和部署最新大语言模型。

Ollama和大模型的关系:上面是一种比较官方的说法,希望用简单的解释让所有人看懂。受限于个人水平,可能解释有不充分或错误的地方,如有还请指出。举个例,你是一家公司的老板,而大模型是一个高级技术人员。现在希望这个大模型为你工作,直接把大模型请来后发现它没办法开始工作。因为它缺少了工作需要的工具,比如螺丝刀,钳子。在计算机环境中当然没有螺丝刀钳子(这只是种比喻。实际上需要安装python,cuda等依赖。再通过pyhon或其他语言自己去调用模型,总得来说部署至少有多个前置要求)。Ollama就像一个专门为这个大模型请来的管理团队,解决大模型运行过程中需要工具的问题,而且要知道,不同的大模型可能需要的工具是不一样的。有了Ollama这个管理团队,做为老板的你就不需要关心这些工具问题。

三、下载安装Ollama

推荐下载方式是官网直接下载。如果未来有一天链接失效,请自行搜索下。
官网链接:
https://ollama.com/
官网主页就是下载
下载完成后的解压安装,就和正常其他的mac程序安装一样,就不再赘述。ps:下载时注意选择自己对应版本的,此处肯定是mac m芯片版本的

三、部署DeepSeek R1

安装完Ollama后,这个过程可以说是最简单的过程了,演示用的模型参数为1.5b

3.1 打开终端

为了防止真有人不知道终端是什么、在哪里,还是截个图,在启动台里找找这个图标
mac的终端

3.2 运行以下命令

ollama run deepseek-r1:1.5b

第一次运行时,会自动下载deepseek-r1 1.5b的模型。以后要再使用,还是继续使用这个命令,就不需要再次下载了。

3.3 成功运行的状态

在这里插入图片描述

四、其他模型

打开Ollama的官网,打开Models,这里还是拿deepseek-r1来举例
在这里插入图片描述
如果需要其他参数的模型
在这里插入图片描述
这里只演示了deepseek-r1,如果需要部署其他模型,在上一步中选择对应的模型。和此处一样在Ollama中选择对应的模型就可以了。

五、其它

到目前为止,命令行中对话是可以了。如果希望在使用时得到类似ChatGPT一样的体验的话。需要再装一个软件,可以理解成再装一个方便使用的壳。这类软件不只一个,目前个人使用的是AnythingLLM,在我安装AnythingLLM后发现,在不安装Ollama的情况下,AnythingLLM也可以直接部署大模型,具体没有详细测试。这部分就放下回再说吧。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐