DeepSeek 本地部署详细教程
至此,已完成了 DeepSeek-R1 的本地部署。
·
DeepSeek 作为国产开源大模型,近期因在线服务压力过大,本地部署需求激增。本教程将结合全网优质资源,手把手教你完成从环境配置到交互界面搭建的全流程,即使是零基础用户也能轻松掌握。
在本地部署 DeepSeek 有以下几个优势:
- 隐私性高:数据都在本地运行,无需上传到云端,避免数据泄露风险。
- 稳定性强:不受网络波动影响,模型运行更加稳定。
- 可定制性强:可以根据需求调整模型参数,满足个性化需求。
1、硬件需求
硬件类型 | 最低配置 | 推荐配置 |
---|---|---|
显卡 | NVIDIA GTX 1650 (4GB显存) | RTX 4080 (16GB显存) |
内存 | 16GB | 32GB |
存储 | 50GB可用空间 | SSD固态硬盘 |
系统 | Windows 10 / macOS 12 / Ubuntu 20.04 | Windows 11 |
2、安装 Ollama 框架
访问 Ollama官网 → 选择对应系统版本下载(Windows用户建议安装到C盘)
验证是否安装成功
win+R键打开 cmd
命令行,执行命令:
ollama -v
# 输出类似:ollama version is 0.5.7
如果显示 Ollama
版本号,说明安装成功。
3、安装大模型
ollama 安装成功以后,在官网搜索 deepseek,选择 deepseek-r1,如图所示:
4、运行大模型
等待下载完毕,下载完成后就可以愉快的在本地使用大模型了,如图所示:
ollama run deepseek-r1:7b
5、ChatBox 使用示例
这里我们使用 ChatBox 调用 DeepSeek 进行交互,其他工具使用方式类似。
ChatBox 官网地址:https://chatboxai.app/zh
下载自己操作系统的安装包,进行安装。
安装完 Chatbox 之后就是配置 DeepSeek 到 Chatbox 了,如下界面所示:
配置 AI 模型提供方,这里选择 Ollama,如图:
选择Deepseek模型
配置完成以后就可以在界面上和本地 deepseek 模型进行聊天交互了,如图:
6、最后
至此,已完成了 DeepSeek-R1 的本地部署
7、下载AnythingLLM并完成模型配置(数据投喂)
下载安装AnythingLLM,这是官网:
https://anythingllm.com/
下载好,点击进入选择ollama,选择自己下载的模型,之后下一步,最后完成工作区命名。
进入工作页面,点左下角的设置按键,修改人工智能提供商里的LLM首选项和Embedder首选项,配置后需点击保存才可生效,配置如下。
8、数据投喂
- 点击图片中圈出的位置,进行数据投喂后,模型会参考所投喂的数据回答相应的问题,目前投喂的数据仅支持文本文件、csv、电子表格、音频文件。
更多推荐
所有评论(0)