本地部署大模型的好处

本地部署大模型就像是你私人定制的智能管家，住在你家，只为你服务。它把数据和计算都放在本地，就像把宝贝藏在自家保险箱，隐私和安全那叫一个踏实。而且，它反应超快，不用受网络波动影响，随叫随到，工作效率杠杠的。相比之下，网页版大模型更像是外面餐馆的大厨，虽然方便，但你得连上网才能找到它，万一网络卡壳或者高峰时段，就得慢慢等。而且，数据得在外部服务器上跑，隐私保护相对没那么让人放心。

了解完为什么要本地部署大模型后，下面介绍具体的部署方法。

方法一：Cherry Studio+Ollama

Ollama是一个开源的AI模型，用于管理下载到本地的大模型，Cherry Studio是一个功能全面、支持多平台的AI助手，拥有交互界面，能提升用户的使用感受。

步骤一：安装Ollama

1. 下载：官方网站：<Ollama>，直接下载exe安装包。

2. 安装：直接双击exe文件会默认安装到C盘（非常不建议）。在exe文件夹使用cmd打开终端，运行下方命令。安装路径（D:\LocalLlm\Ollama）可自行更换。

OllamaSetup.exe /DIR=D:\LocalLlm\Ollama

3. 配置环境变量：在环境变量中新建变量，并添加到path中。

OLLAMA_MODELS：模型文件存放目录，默认目录为当前用户目录（Windows 目录：C:\Users%username%.ollama\models，MacOS 目录：~/.ollama/models，Linux 目录：/usr/share/ollama/.ollama/models），如果是 Windows 系统建议修改（如：D:\OllamaModels），避免 C 盘空间吃紧

4. 卸载：运行ollama安装目录下的unins000.exe文件

步骤二：使用ollama下载大模型

1. 进入ollama官网，点击左上角models，可以看到有很多大模型，这里以deepseek-r1为例。

2. 找到deepseek-r1进入，可以选择模型大小，模型越大需要的硬件配置越好，这里建议选择1.5b进行尝试。复制红框中的代码到终端运行。

3.  在终端执行命令：ollama list 查看已安装的大模型，执行ollama run deepseek-r1:8b 运行大模型。这样就可以在终端与大模型进行对话了。

4.卸载：使用下方命令可以卸载指定大模型

ollama rm deepseek-r1:1.5b

到这里已经可以实现在终端与大模型进行对话了，但这样交互体验不如图形界面舒适，cherry studio可以很好地解决此方法。

步骤三：安装cherry studio

1. 下载：官方网站：<Cherry Studio 官方网站 - 全能的AI助手>，直接下载exe安装包。

2. 安装：双击exe文件正常安装即可。

步骤四：在cherry studio使用ollama的大模型

1.打开cherrystudio，点击左下角齿轮进入设置界面，选择ollma,打开左上角的开关

2.点击管理按钮，可以看到我们刚刚下载好的大模型，点击加号添加。

3.点击左侧栏的第一个按钮回到对话框，在红框位置可以选择下载好的大模型，然后就可以进行聊天了。

方法二：使用cherry studio+硅基流动

在方法一中，我们使用ollama下载大模型到本地，这样的好处是该模型可以免费使用，只要配置够高，你可以下载满血版的deepseek大模型。但对于个人用户而言，我们的硬件配置往往只能下载蒸馏版本（即阉割后的版本），蒸馏版本的性能会差一些。因此方法二给出cherry studio+硅基流动的方法。硅基流动是一站式大模型云服务平台，为开发者和企业提供高效、低成本且全面的生成式人工智能模型服务，用户可以在该平台上创建自己的账号并生成密钥，通过密钥使用该平台上的所有大模型，包括语言、图片、视频等。与法一相比，该方法使用大模型需要消耗token数（也就是需要付费），但可以使用满血版的deepseek，功能更强大，而且现在注册可以免费赠送2000万token，可以使用一段时间了，而且该平台也包含免费的蒸馏版本的大模型，包括在法一中下载的deepseek-r1:1.5b等。

1.根据法一安装好cherry studio

2.进入硅基流动官网：SiliconFlow, Accelerate AGI to Benefit Humanity，使用手机号码进行注册，现在注册可以免费赠送2000万的token,邀请码可以填写duLpFtbw。登录成功后，在左侧栏进入api密钥，新建一个api密钥，注意不要泄露自己的api密钥。

3.打开cherry studio，点击左下角齿轮进入设置，在api密钥框里粘贴刚刚生成的api密钥。

4.点击管理可以看到有很多的大模型，添加你想要使用的大模型。

5.按照方法一中步骤四的第三步，即可切换大模型进行聊天。