这篇文章介绍用LM Studio和huggingface部署一个deepseek到自己的电脑上,应该不需要代码知识,至少不需要太多

准备

电脑

我的电脑显卡是 RTX 4070(12GB显存)
neofetch

软件

首先你需要一个LM Studio软件,https://lmstudio.ai/,安装包我放在文章开头,你也可以自己下载。

安装成功后,一般情况下打开软件是加载不出来东西的,因为默认连接的 https://huggingface.co/ 在国外,我们需要替换成国内镜像站 https://hf-mirror.com/

安装成功以后,我们需要找到LM Studio的安装文件夹
打开文件位置
再对快捷方式再“打开文件位置”,就找到了安装位置,再用VS Code打开这个文件夹

利用VS Code的全局搜索与替换功能,将所有的 huggingface.co 全部替换成 hf-mirror.com
我这里已经替换完了
此时重新启动软件,应该就能刷出来模型的列表了。

安装

我们以DeepSeek-R1-Distill-Llama-8B-GGUF,Q6_K为例子,左侧选择发现,直接搜索下载即可。
随便选个下载
即使使用镜像下载也可能比较慢,你也可以直接访问https://hf-mirror.com/,搜索,获取下载链接以后用第三方下载器下载
这里可以获取下载链接
下载完成应该是个gguf格式的文件。然后用这个替换掉LM Studio下载文件夹下的临时下载文件,比如我的位置是C:\Users\用户名\.lmstudio\models\lmstudio-community\DeepSeek-R1-Distill-Llama-8B-GGUF,在这个目录下用下载好的gguf文件替换掉临时下载的文件,就能在左侧“我的模型”看到了
我还下了一个Qwen的

使用

在首页开启对话时,选择要加载的模型:
这里安装多个会有多个选项
然后对话即可。
对话
注意,这个模型需要 0.3.9 版本以上的 LM Studio,我在用 0.3.8 的 LM Studio 时遇到了bug,论坛上也有人报告这个问题:https://hf-mirror.com/lmstudio-community/DeepSeek-R1-Distill-Llama-8B-GGUF/discussions/1,所以请用最新的。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐