
【大模型】Ollama 本地部署DeepSeek模型,并通过ChatBox调用
·
1.安装 Ollama
1.1.访问Ollama 官网
1.2.按照安装向导的提示完成安装。安装完成后,打开命令行输入ollama -v,若显示版本号,则说明安装成功。
1.3.对于 Windows 用户,如果想修改模型存储路径,可新建系统变量OLLAMA_MODELS来指定自定义路径。
2.部署本地模型
2.1.根据硬件配置选择合适的模型版本:
- 对于 8GB 内存与集成显卡的低配设备,可选择deepseek-r1:1.5b。
- 16GB 以上内存且有独立显卡的中高配设备,可选 7b 或 14b 版本。
- 32GB 以上内存和高端显卡的高性能设备,可尝试 32b 或 70b 版本。
2.2.在命令行输入ollama run <model_name>来下载并运行模型,如ollama run deepseek-r1:1.5b。首次运行会自动下载模型,下载完成后可通过命令行与模型交互。
注:如果下载模型比较慢,可以参考:Ollama 更改镜像源,通过魔搭拉取模型
3.安装 ChatBox
访问ChatBox 官网,根据自己的系统选择对应的安装包进行下载安装。
4.配置 ChatBox
4.1.安装完成后打开 ChatBox 系统界面,点击界面左下角的设置。
4.2.选择 API 类型为 “Ollama”。
4.3.在接口地址处填写http://localhost:11434,这是 Ollama 的默认端口。
4.4.模型名称要与部署的模型版本严格一致,比如部署的是deepseek-r1:1.5b,这里就填写deepseek-r1:1.5b。
4.5.确保防火墙放行端口 11434,以免连接失败。
更多推荐
所有评论(0)