最近发现 DeepSeek 大模型 AI 火遍大江南北,我也忍不住去了解一翻。经过在本地部署后,发现整个过程非常简单,于是决定记录下来,分享给大家。

需要准备工具

1.Ollama 

  • 用途:简化大型语言模型(LLM)的本地部署和使用,支持同时运行多个大模型。

  • 简单来说,它就像一个“容器”,让开发者能够轻松在本地环境中测试和运行不同的语言模型。

  • 官网地址:https://ollama.com/

2.ChatBox AI 

  • 用途:一款用于接入各种大模型的客户端,提供美观且便捷的用户界面,让使用大模型 AI 变得更加简单高效。

  • 官网地址:https://chatboxai.app/zh

第一步 下载并安装Ollama

        首先访问Ollama 官网:https://ollama.com/,点击页面上的 Download 按钮,下载适合你操作系统的安装包,Ollama安装包下载完成后,双击安装包开始安装。需要注意的是,Ollama 默认会将程序和大模型数据包安装在 C 盘。因此,安装之前,先确保你的C盘有足够的存储空间。

        如果你想安装到其他磁盘上,你可以先在你需要安装磁盘上安装Ollama手动创建Ollama安装目录,比我安装在D盘,我在D盘software文件夹下新建一个Ollama文件夹,并把Ollama安装包放在这文件夹下。通过CMD命令提示符,切到Ollama安装文件夹,执行 OllamaSetup.exe /DIR=D:\software\Ollama(这是我的安装目录)。Ollama 会自动开始安装,安装完成后,Ollama 会默认启动并运行在后台,你可以通过系统托盘或任务管理器确认其运行状态。

        通过ollama -v 查看是否安装成功,能查到版本号,说明安装成功。

第二步 下载DeepSeek R1模型

  1. 打开浏览器,进入 Ollama 官网:https://ollama.com/。

  2. 在官网页面中,点击顶部导航栏的 Models 选项,进入模型列表页面。

  3. 找到 DeepSeek R1 模型在模型列表中,找到 DeepSeek R1 模型。

  4. 下载模型点击 DeepSeek R1 模型,进入详情页面后,按照提示下载模型。

  5. 下载完成后,Ollama 会自动加载模型。你可以通过命令行或 Ollama 的日志文件确认模型是否成功加载。

注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,因为我的事笔记本电脑,这里我选择的是第一个最小的模型。数字越大,代表参数越多,所需资源也越多,1.5b=15亿参数。可以参考下图来选择:

点击deepseek-r1 进入详情,选择适合自己版本,复制命令,粘贴到命令窗回车执行。

执行ollama run deepseek-r1.5b命令之后,当出现success表示模型已经安装成功。

模块安装成功之后,就可以跟模型进行对话了

如果你要删除模型,你可以通过ollama list 命令查询已安装模型,然后再通过ollama rm deepseek-r1.5b(模型名称)即可删除。

第三步 安装 ChatBox AI 并接入 DeepSeek 模型

  1. 下载 ChatBox AI访问 ChatBox AI 官网:https://chatboxai.app/zh,选择适合你操作系统的客户端版本进行下载。如果你更喜欢轻量化的方式,也可以直接使用网页版。

  2. 下载ChatBox AI安装包完成后,双击安装包,按照提示完成安装。安装过程非常简单,只需点击“下一步”即可完成。

  3. 安装完成后,启动 ChatBox AI。首次启动时,你会看到一个简洁的用户界面。

  4. 配置 Ollama 连接

    • 在 ChatBox AI 中,找到 设置 或 模型配置 选项。

    • 选择 自定义模型 或 本地模型,然后输入 Ollama 的本地 API 地址(通常是 http://localhost:11434)。

    • 在模型列表中,选择 DeepSeek R1 作为默认模型。

  5. 测试连接

    • 在 ChatBox AI 的输入框中输入问题或指令,例如:“你好,介绍一下你自己。”

    • 如果配置正确,ChatBox AI 会通过 Ollama 调用 DeepSeek R1 模型并返回响应。

到这里就完成全部本地化部署啦

注意事项:

  • 删除模型后,释放的存储空间可以用于下载更适合你电脑配置的模型。

  • 如果你不确定某个模型是否适合你的设备,可以先查看模型的资源要求(如显存、内存等),再决定是否下载。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐