
本地部署DeepSeek
利用LM Studio实现在本地部署蒸馏版DeepSeek;使用windows中的防火墙对LM Studio进行断网。
本地部署DeepSeek
本地部署DeepSeek+防火墙设置可以有效的保护自己的信息和数据泄露问题。DeepSeek的隐私政策链接:DeepSeek 隐私政策,里面说明了DeepSeek将会对上传的文本、图片、视频等内容进行收集用于后续提升新能。LM Studio软件是American的闭源免费的软件,可能会拔取用户的隐私信息。
安转LM Studio
-
下载地址:LM Studio - Discover, download, and run local LLMs,根据电脑的型号进行下载即可。下载好.exe文件后正常安转……(安转在D盘,目前正常启动)。
-
下载模型:选择开发者(Developer),点击Model Search,可以在里面检索需要的模型。
-
将软件修改成简体中文:右下角设置—>语言—>简体中文。
-
LM Studio可以使用的大语言模型链接如下:lmstudio-community (LM Studio Community)、或者通过Develper 中的 Model Search进行下载。
下载模型&测试
模型的下载需要结合硬件设备进行选择
- 查看自己电脑显存的大小(ctrl + shift + ~),进入任务管理器进行查看
- 查看.gguf文件的大小,选择和显存大小差不多大小的即可,太大的运行不起来(提示超时,调整了上下文大小到1000也不行),LM Studio也会进行提示。
- 搜索Deep Seek 1.5b模型进行下载和测试
模型下载完成,软件会进行提示,如下:
- 选择模型:
上下文长度:数值越大则可以兼顾越久的历史数据,但是带来的内存消耗越大
gpu负载和cpu线程:根据电脑情况进行选择
- 加载模型
无法使用Hugging face,检索不了那么多模型
进入LM Running,选择App Settings,勾选**Use LM Studio's Hugging Face Proxy**
关于模型中出现Distill字眼的含义
Distill是Distillation表示模型使用的Deepseek是蒸馏后的版本,不是完全版本的。
防火墙设置-=-为了安全
LM Studio是一个免费闭源的软件,可能会收集信息,使用windows的防火墙进行防护,设置入栈和出栈规则;后续如果不用的话可以直接删除。
-
进入高级防火墙设置:搜索高级安全windows defender 防火墙
-
设置入栈和出栈规则:有三个①LM Studio安转路径下的.exe文件;②resources下的elevate.exe文件;③系统盘下的.lmstudio文件下的bin文件的lms.exe文件。
第一步:在防火墙入栈规则上新建,点击下一步;
第二步:选择三个规则的路径,点击下一步;
第三步:选择阻止连接,点击下一页
第四步:全选,点击下一步;
第五步:命名,①—>LM Studio; ②—>LM Studio elv; ③—>LMS.
第六步:完成配置后防火墙会1出现以下三个禁用的标志,然后既可测试LM Studio是否无法联网。
第七步:在LM Studio进行测试;测试是否还可以联网下载模型——否。测试时候可以正常使用模型——是。
学习链接
学习链接:【DeepSeek R1 推理模型 一键包 完全本地部署 保姆级教程 断网运行 无惧隐私威胁 大语言模型推理时调参 CPU GPU 混合推理 32B 轻松本地部署】 https://www.bilibili.com/video/BV1atfQYQE9P/?share_source=copy_web&vd_source=b95fa7b9cacb32055dfec211182397bf
更多推荐
所有评论(0)