
DeepSeek本地部署,打造专属自己的LLM大模型
默认情况下,Ollama 服务仅在本地运行,不对外提供服务。在 Chatbox 中打开设置,在模型提供方中选择 Ollama,即可在模型下拉框中看见你运行的本地模型。点击保存,即可正常聊天使用。直接下载安装,并进行设置。
·
文章目录
一、安装ollama
1、下载安装ollama
网站:https://ollama.com/download
直接下载安装。
二、安装DeepSeek
1、搜索deepseek-r1
网站:https://ollama.com/
直接搜索deepseek-r1
:
2、安装deepseek
# 直接命令安装
ollama run deepseek-r1:1.5b
3、测试
4、附:基本命令
#退出模型
>>> /bye
#查看模型
C:\Users\cxf>ollama list
NAME ID SIZE MODIFIED
deepseek-r1:1.5b a42b25d8c10a 1.1 GB 3 minutes ago
#启动模型
ollama run deepseek-r1:1.5b
>>>
#查看帮助
C:\Users\cxf>ollama -h
Large language model runner
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
三、可视化部署Web UI:Chatbox AI
1、下载Chatbox AI
网站:https://chatboxai.app/zh
直接下载安装,并进行设置。
2、将 Chatbox 连接本地 Ollama 服务
在 Chatbox 中打开设置,在模型提供方中选择 Ollama,即可在模型下拉框中看见你运行的本地模型。
点击保存,即可正常聊天使用。
3、在 Chatbox 中连接远程 Ollama 服务
(1)配置远程 Ollama 服务
默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:
# windows的环境变量 重启 Ollama 应用,使配置生效
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
# MacOS 上终端执行 重启 Ollama 应用,使配置生效
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"
# linux
# 1、调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
# 2、在 [Service] 部分下为每个环境变量添加一行 Environment:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
# 3、重启
systemctl daemon-reload
systemctl restart ollama
(2)在Chatbox 配置Ollama IP 地址
在 Chatbox 中,将 API Host 设置为:http://192.168.XX.XX:11434
4、其他web-ui:openwebui
https://www.openwebui.com/
# 安装
pip install open-webui
# 运行 默认为 8080 端口,可以通过 --port 来指定自定义端口 http://localhost:8080
open-webui serve [--port XXXX]
参考资料
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
https://mp.weixin.qq.com/s/WROHFgfU_5eaPeD5Wewp1g
更多推荐
所有评论(0)