DeepSeek本地化部署及其他ai工具部署

1.ollama安装

本部署基于Windows系统,MacOS可适当参考。首先在官网下载ollama
ollama官网
然后选择download进行下载适合的版本,本部署基于Windows,故后续都选择Windows:
在这里插入图片描述
(下载后,由于ollama默认安装路径在c盘,如若c盘空间不够则需要迁移到其他盘,安装流程结束后会进一步介绍,需者请自行参考即可。同时对于下载速度过慢的情况,由于ollama官网在国外,这里笔者挂载到阿里云盘,链接如下:ollama

打开下载好的安装包,直接install即可:
在这里插入图片描述在这里插入图片描述
安装好后,ollama会自行退出,接下来要使用到cmd指令对需要的模型进行下载。由于c盘作为系统盘,经常致使内容超出,因此这里介绍通用的方法,避免以后都会下载到c盘。
首先按win键,然后再搜索框输入编辑系统环境变量
在这里插入图片描述
点开后选择右下角的环境变量
在这里插入图片描述
首先选择下方的系统变量中的新建
在这里插入图片描述
输入如下内容并确定:
在这里插入图片描述
注意!! 此处变量名一定要严格按照书写,下方的变量值(也就是文件路径)可自行选择,最好不要再根目录直接创建。
然后再点击上方的用户变量新建
在这里插入图片描述
分别写入如下内容:
在这里插入图片描述
在这里插入图片描述
输入完成后,即可开始下一步的部署。
再次回到ollama官网,点击上方的models
在这里插入图片描述
搜索deepseek,找到r1模型并点进去,根据自身的显卡算力选择合适的显卡,笔者电脑为3060,选择7b即可,附上对应的总结表:
在这里插入图片描述

模型版本 显存需求 内存需求
DeepSeek-R1-1.5B 4GB+(可选) 8GB+
DeepSeek-R1-7B 8GB+ 16GB+
DeepSeek-R1-8B 8GB+(略高于 7B) 16GB+(略高于 7B)
DeepSeek-R1-14B 16GB+ 32GB+
DeepSeek-R1-32B 24GB+ 64GB+
DeepSeek-R1-70B 2x 80GB+(多卡) 128GB+
DeepSeek-R1-671B 8x A100/H100(分布式) 512GB+

然后找到对应的下载指令,请复制好,后续会在cmd指令窗口进行部署:
在这里插入图片描述
然后按win+R键,在弹出的窗口输入cmd,然后回车:
在这里插入图片描述
在这里插入图片描述
然后CTRL+V粘贴刚才复制的指令,回车,等待下载:

在这里插入图片描述
在这里插入图片描述

下载好后,本地服务部署就只差可视化对话了,因为命令行的对话模式始终会比较局限,并且很不适合非编程人员。因此接下来会下载chatbox来可视化使用。

2.chatbox安装

首先打开chatbox官网打开并安装:
在这里插入图片描述
下载后进行安装即可:
在这里插入图片描述
打开后,选择左下角的设置:
在这里插入图片描述
打开模型提供方,选择OLLAMA API:
在这里插入图片描述
保存即可,然后可以使用对应的本地化模型了,可离线使用,可直接反馈结果:
在这里插入图片描述
注意每次使用前,必须要开启ollama应用,来提供本地化服务,再打开chatbox进行使用。
如若要跟其他应用结合,在使用时请适当提示,如:我要使用canva设计……请给出适合canva的代码/文本/markdown即可。

3.其他ai工具

笔者认为OfficeAI插件使用效果很好,故在此推荐该应用。请最好使用Microsoft Office,因为WPS不开放第三方插件服务,关于WPS的具体解决方案可详见网上,这里不再赘述。
在这里插入图片描述
正常下载安装即可。然后就可以打开Office进行使用了。
Word示例演示:

word功能示例

Excel示例演示:

excel功能示例

还可以根据文章前段继续续写内容,默认使用豆包的api来进行调用(需要联网),而离线则可以使用上述所提到的本地部署模型,直接在Word/Excel的工具栏选中其他中的设置,然后选择大模型设置-本地-框架(默认ollama)-刷新模型列表(然后会出现下载的模型,选中即可)-确定(服务器地址默认ollama的端口本地地址,不需要进行任何操作即可)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐