前言

年前,国产AI大语言模型 DeepSeek 横空出世,最近很多自媒体啊,也都在宣传本地部署 DeepSeek 有多好有多方便,最近也稍微研究了一下如何使用,仅供参考使用,如有不对请各位大佬指正。

补充说明

这个本地化部署仅仅作为自己平时玩玩使用的话没有问题,毕竟我们普通用户的硬件配置也没有太高,比如我部署的电脑配置也就是个12600kf+4060ti+32g的低配游戏主机,估计跑个14b就差不多了,再往上连跑就很勉强了。

同时和大家说明一点,官网版(或者APP版)的 DeepSeek 使用的是满血版的大模型,我们用的这个 7b,8b,14b 版本的也就是阉割版,说白了就是蒸馏版(基于R1模型学习的版本)。本次演示安装的是8b的版本,至于为什么不推荐使用 7b,8b呢?是因为再往下的就纯属傻子版本(个人感受勿喷)

如果想体验完整版本的真的建议去官网或者下载APP,本地部署真就是图一乐,如果想使用满血的还没办法使用官网版本的,可以去华为,英伟达的官网,或者像curser内置,硅基流动,秘塔AI,国家超算中心等那里都有准备好的R1环境可以供我们使用。也就是说,如果基于我们的本地配置,能够使用的一定都是其他架构的蒸馏版R1。 网上(主要是dy)要是教你用,还只用7b往下的纯纯割韭菜行为各位注意避坑,花钱就更是大冤种。

本实操使用的是 ollama+chatbox 方案进行本地部署。

部署

安装Ollama

进入官网下载界面:https://ollama.com/download

在这里插入图片描述

选择自己的操作系统并下载安装即可。

回到主页,点击 DeepSeek-R1 的标签

在这里插入图片描述
在这里插入图片描述
这里我们能看到各种版本的模型,和所需要的硬盘空间。硬盘够用且显存足够足够足够大的可以考虑671b

下载好了直接安装即可

在这里插入图片描述

修改环境变量

由于 Ollama 默认安装模型是在C盘,考虑到很多用户C盘空间不乐观,可以将模型文件的默认路径改为自己想要的位置。

首先Win搜索环境变量打开 系统属性 界面:

在这里插入图片描述
点击 高级 标签下面的 环境变量

在这里插入图片描述
点击 新建

在这里插入图片描述

变量名:OLLAMA_MODELS
变量值:你想要放置模型的目录,我这里是 D:\OLLAMA_MODELS

注意:设置完环境变量以后需要重新启动电脑才能生效。

验证安装

打开cmd,输入ollama查看指令

在这里插入图片描述
如图所示,有ollama相关的命令即为安装成功。

下载模型

打开cmd,输入ollama run deepseek-r1:8b

在这里插入图片描述

他这里就会自动下载你所需要的模型,我们这里使用8b作为演示,静静等待他下完就好。

下载 ChatBox

ChatBox AI官网地址:https://chatboxai.app/zh

在这里插入图片描述
点击下载并安装

在这里插入图片描述
安装完成打开软件

使用ChatBox

在这里插入图片描述

点击下面的使用自己的 API Key 或本地模型 按钮

在这里插入图片描述

直接选择 Ollama API

在这里插入图片描述

API域名这里不用做任何更改,默认就是11434端口

在这里插入图片描述

模型这里直接选择刚刚下载好的模型,并点击保存即可使用

在这里插入图片描述
到这里就 ok 了,截至目前为止,DeepSeek开放了API接口,也可以去官网申请一个API Key,像别的大模型一样可以在CherryStudio等AI平台上使用。

在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐