DeepSeek 大模型在 Mac 上的部署和运行
不会还有人没用过 DeepSeek 吧 ?这热度简直炸上天。之前一直用 Cursor、豆包,现在 AI 雇员又要多一个 DeepSeek 了。不过 DeepSeek 的服务状态经常无响应,有必要在本地部署一个,之前也尝试在本地部署过 Meta 的开源大模型 Llama3 ,这次部署也是轻车熟路了。参考文章:Meta Llama3 大模型在 Mac 上的部署和运行DeepSeek 目前有 1.5b、
不会还有人没用过 DeepSeek 吧 ?这热度简直炸上天。
之前一直用 Cursor、豆包,现在 AI 雇员又要多一个 DeepSeek 了。

不过 DeepSeek 的服务状态经常无响应,有必要在本地部署一个,之前也尝试在本地部署过 Meta 的开源大模型 Llama3 ,这次部署也是轻车熟路了。
DeepSeek 目前有 1.5b、7b、8b、14b、32b、70b、671b 多种参数类型可供选择。

要是机器性能扛不住,就选个 1.5b 吧,像我 64G 的 Mac Studio ,选个 32b 的也还可以。
首先启动 Ollama ,然后在命令行运行如下命令:
<!-- 按需替换 32b 参数 -->
ollama run deepseek-r1:32b
整个模型下载下来大概要占 20G 左右空间,接着就可以在命令行中进行对话了。

可视化操作
除了命令行中对话,还有不少开源工具提供了可视化操作,举两个用过的例子:
-
open-webui
-
page-assist
我正在使用 page-assist ,可以作为 Chrome 浏览器的插件来直接启动,简单快捷。

运行效果也是非常不错的,选择好对应的模型,就可以直接在网页中对话了。

32b 内存压力测试
提示词是 "写一段代码输出 a+b 的和" ,运行前内存是 23G 左右,运行后直接飙到 42G 左右,内存增量差不多干了 20G ,这要是机器性能不够还真跑不起来大模型。

如果你的机子只有32G 或者更低,我建议是跑 14b 或者更低的吧,当然更好的选择 还是直接用在线服务,不用占用本地的机器资源了 。
推荐阅读:
更多推荐
所有评论(0)