一、安装ollama

1、下载安装ollama

网站:https://ollama.com/download
直接下载安装。
在这里插入图片描述

二、安装DeepSeek

1、搜索deepseek-r1

网站:https://ollama.com/
直接搜索deepseek-r1

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2、安装deepseek

# 直接命令安装
ollama run deepseek-r1:1.5b

在这里插入图片描述

3、测试

在这里插入图片描述

4、附:基本命令

#退出模型
>>> /bye
#查看模型
C:\Users\cxf>ollama list
NAME                ID              SIZE      MODIFIED
deepseek-r1:1.5b    a42b25d8c10a    1.1 GB    3 minutes ago
 
#启动模型
ollama run deepseek-r1:1.5b
>>>
#查看帮助
C:\Users\cxf>ollama  -h
Large language model runner
 
Usage:
  ollama [flags]
  ollama [command]
 
Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command
 
Flags:
  -h, --help      help for ollama
  -v, --version   Show version information
 
Use "ollama [command] --help" for more information about a command.

三、可视化部署Web UI:Chatbox AI

1、下载Chatbox AI

网站:https://chatboxai.app/zh

直接下载安装,并进行设置。
在这里插入图片描述

2、将 Chatbox 连接本地 Ollama 服务

在 Chatbox 中打开设置,在模型提供方中选择 Ollama,即可在模型下拉框中看见你运行的本地模型。
在这里插入图片描述

点击保存,即可正常聊天使用。
在这里插入图片描述

3、在 Chatbox 中连接远程 Ollama 服务

(1)配置远程 Ollama 服务

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:

# windows的环境变量 重启 Ollama 应用,使配置生效
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

# MacOS 上终端执行 重启 Ollama 应用,使配置生效
launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"


# linux
# 1、调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
# 2、在 [Service] 部分下为每个环境变量添加一行 Environment:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
# 3、重启
systemctl daemon-reload
systemctl restart ollama

(2)在Chatbox 配置Ollama IP 地址

在 Chatbox 中,将 API Host 设置为:
http://192.168.XX.XX:11434

4、其他web-ui:openwebui

https://www.openwebui.com/

# 安装
pip install open-webui
# 运行 默认为 8080 端口,可以通过 --port 来指定自定义端口 http://localhost:8080
open-webui serve [--port XXXX]

参考资料

https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
https://mp.weixin.qq.com/s/WROHFgfU_5eaPeD5Wewp1g

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐