
本地部署DeepSeek与国内大模型API接入
本地部署DeepSeek与国内大模型API接入,安装ollama,下载deepseek-r1模型,使用cherry studio 可视化美观对话,注册siliconflow接入国内API
话不多说,在本地部署DeepSeek与接入国内大模型API总路线如下:
1、下载ollama(下载地址:Ollama)
2、下载需要的DeepSeek模型(下载命令地址:deepseek-r1)
3、下载Cherry Studio来可视化(本地部署)
4、注册 SiliconFlow(接入API 注册地址:硅基流动统一登录)
由于模型和ollama默认安装再C盘。如需指定目录安装DeepSeek模型与Ollama可参照这篇文章:ollama指定目录下载deepseek模型-CSDN博客
Ollama 基础知识介绍
1. 什么是 Ollama?
- 基于开源的大型语言模型(LLM)框架,支持多种预训练模型。
- 提供了简洁的 Python 接口和 C++ 接口,广泛应用于文本生成、对话交互等场景。
2. Ollama 的工作原理
- 面向图灵机的设计:允许多线程、多进程运行;可以同时处理多个用户的请求。
- 强调高性能:优化了内存管理和计算资源的利用。
3. 常见应用场景
- 文本生成与对话模拟
- 代码生成与自动化工具集成
- 与数据库、其他 AI 模型或 API 的交互
Cherry Studio 介绍
什么是 Cherry Studio?
Cherry Studio 是一个基于 Python 和 JavaScript 的开源可视化开发工具,主要用于创建交互式的数据展示界面、AI 模型可视化以及复杂系统的实时交互界面。它提供了高度可定制的组件库,并且支持与第三方工具和技术(如 Flask、Gunicorn 或 FastAPI)的集成。
对于 AI 开发者来说,Cherry Studio 最大化了展示模型行为和生成结果的能力,同时让团队能够更高效地进行实验设计和结果分析。
正文
第一步:下载Ollama
1、下载地址:Ollama
2、点击Download可根据自己的操作系统选择对应的Ollama,这里选择Window版本
3.下载完成后,双击安装文件并按照提示完成安装。
第二步:下载DeepSeek模型
1.在 Ollama 官网上,点击 Models,选择 DeepSeek-R1 模型。
2、在本地下载deepseek-r1
(1)在下拉框中,你会看到多个版本。数字越大,参数越多,性能越强,但对计算机的性能要求也越高。
(2)建议选择 7b /8b版本即可,电脑配置好的,可以自行选择更大的模型(电脑最好有16G内存,当然越大越好,有显卡可以加快后面模型对话速度),然后复制安装命令,可选择下面命令中的一条
ollama run deepseek-r1:7b
或
ollama run deepseek-r1:8b
(3)按住win+R,输入cmd,进入命令行黑框,然后粘贴刚才复制的命令后运行,就会自动下载模型,完成后,你可以直接与模型对话。
(如果下载到后面变慢了,可以按Ctrl+C终止下载,然后在运行一次下载命令,这会继续上一次没下载完的下载,并且速度快了)
如果遇到500错误,其实是服务器繁忙,换个时间再下载试试即可
(4)验证
可通过 命令查看与验证deepseek是否本地部署成功
ollama list
ollama run deepseek-r1:7b
3、下载Cherry Studio来可视化(本地部署)
其实可视化的工具不少,但是cherry studio可视化的比较美观(网上选择chatbox的ui做的不够美观所以没用),所以选择这个。
1、下载地址如下,依然可以更具自己的操作系统选择对应的版本:
2.下载完成后,双击安装文件并按照提示完成安装。
3、打开安装完成后的cherry studio,通过如下操作即可选择安装好的deepseek模型
设置、
选择Ollama、
点击模型下的管理,弹出窗口会自动将刚才安装好的显示出来,
最后点击加号即可添加成功
4、选择链接好的模型开始对话,本地部署就已完成
操作如下
这里附上chatbox(这里的Thinking的内容也显示出来了)对比的画面,相比之下,cherry studio确实更美观
4、 注册 SiliconFlow(接入API 注册地址:硅基流动统一登录)
使用邀请码注册后会赠送2000万Tokens
1、SiliconFlow内接入了国内大部分模型
2、注册成功后,登录点击左侧的API密钥,新增一个密钥,然后复制密钥
3、打开cherry studio,进入设置,选择硅基流动,将密钥粘贴到API密钥中,下面还可以管理新增一些其他模型
4、添加完成密钥后,就可以创建一个新的会话,按照图示可以选择需要的模型,调用API服务
更多推荐
所有评论(0)