此贴为分享经验,与大家多多交流。

如今不管是网页版的DeepSeek还是APP版的DeepSeek,一旦访问量多起来就会出来服务器繁忙的状态,那有没有可以比较方便的方法可以避免这个问题呢?包有的!bro。

https://lmstudio.ai/ 这个网站呢,是LM Studio的官方网站,我们进去下载对应系统的应用(不需要科学上网),安装好之后进入界面是如下图所示,点击右下角齿轮。

在设置里把语言切换为中文。

接下来就回到初始界面点击左边栏第三个选项,如下图的①,在模型目录里面设置模型目录,可以在一个空间大一点的盘里新建模型目录(如图②),然后在此目录下又要新建两个文件夹(注意是在模型目录新建的文件夹下再建一个文件夹,再这个子文件夹下又建一个文件夹:你的模型目录/第一层文件夹/第二层文件夹/模型文件.gguf,可以看看我的如图③所示的那样。

然后,我们再点击左边栏里第四个放大镜的选项进行模型搜索,如果没有科学上网就没有办法搜到,下图右边红框里就没有找到。此时我们可以通过国内阿里的开源模型网站:魔搭社区

由于deepseek r1有不同尺寸的量化模型,本地运行成功与否跟你电脑自身的硬件配置有关,所以需要根据你的显存来选择,如果大家不知道自己的显存可以在任务管理器里面看,注意是专用GPU内存

以下是不同型号显存对应的型号:

32GB DeepSeek-R1-Distill-Qwen-32B-Q6 K.gguf
24GB DeepSeek-R1-Distill-Qwen-32B-Q4 K M.gguf
12GB DeepSeek-R1-Distill-Qwen-14B-Q4 K M.gguf
8GB DeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf 、DeepSeek-R1-Distill-Llama-8B-Q6 K.gguf
6GB DeepSeek-R1-Distill-Qwen-78-Q4_K_M.gguf 、DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf
4GB DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf 、DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
2GB,3GB DeepSeek-R1-Distill-Qwen-1.5B-Q8 0.gguf

由于我自己的显存有限,所以只能用这两个版本:

下载好模型之后我们就可以用了,还是左边第一列点击第一个聊天选项。

选择模型之后,调整模型的参数,上下文长度参数不建议调整,会占用较大的显存,其他参数可以自己研究着来。选好后加载模型就OK了。

需要在“聊天记录”那里新建聊天。

上图右边的那个符号点开可以设置一下模型的高级设置。然后就可以正常使用了!!!

感谢阅读!

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐