
项目实训纪实(四)——DeepSeek本地化部署全攻略:从Ollama到ChatBox配置详解
本文详细介绍了如何在本地环境中部署 DeepSeek 模型并通过 ChatBox 配置可视化 Web UI 以进行交互。首先,本文介绍了 Ollama 平台的安装与配置,重点说明了如何通过命令行启动并运行 DeepSeek 模型。接着,文中详细描述了如何下载并配置 ChatBox,并将其连接到本地运行的 Ollama 服务。
DeepSeek 是一个专为高效推理设计的 AI 平台,它支持各种大规模语言模型的本地化部署。在本教程中,我们将详细介绍如何在本地环境中部署 DeepSeek 模型,并配置一个可视化的 Web UI——ChatBox,以便与模型进行交互。
第一步:安装 Ollama
Ollama 是一款支持多种 AI 模型的开源平台,它允许用户在本地或远程运行 DeepSeek 这样的模型。Ollama 提供了高效的推理和管理功能,适用于在本地机器上进行 AI 模型部署。
-
访问 Ollama 官网下载页面:Download Ollama on macOS
-
根据你操作系统的版本下载对应的 Ollama 安装包,并完成安装。
第二步:搜索并配置 DeepSeek 模型
在安装完成 Ollama 后,启动它并通过其界面或命令行工具来下载并配置 DeepSeek 模型。
配置模型:
-
打开 Ollama,搜索 DeepSeek 模型。
-
下载您所需要的模型版本,例如 deepseek-r1:1.5b。
-
确保您的显卡满足模型的显存需求(例如:DeepSeek-r1:1.5b 至少需要 8GB 显存)。
-
记住右上角的运行命令
模型版本 | CPU | 内存 | GPU | GPU型号示例 |
---|---|---|---|---|
1.5B | 4核+ | 8GB+ | 非必需,可选4GB+ | 如GTX 1650/RTX2060 |
7B | 8核+ | 16GB+ | 8GB+ | 如RTX 3070/4060 |
8B | 8核+ | 16GB+ | 8GB+ | 如RTX 3070/4060 |
14B | 12核+ | 32GB+ | 16GB+ | 如RTX 4090/A5000 |
32B | 16核+ | 64GB+ | 24GB+ | 如A100 40GB |
70B | 32核+ | 128GB+ | 多卡 | 如2xA100 80GB |
671B | 64核+ | 512GB+ | 多卡 | 如8xA100/H100 |
第三步:在终端执行命令启动模型
在终端中执行以下命令来启动 DeepSeek 模型(来自于上一步的):
ollama run deepseek-r1:1.5b
执行此命令后,模型将开始加载并运行。请耐心等待,直到加载完成。
安装完成后就可以在命令行中使用deepseek模型了!
以下是一些常用的 Ollama 命令,用于管理模型:
命令 | 描述 |
---|---|
/bye |
退出模型 |
ollama list |
列出所有可用的模型 |
ollama run <model> |
启动指定的模型 |
ollama ps |
查看当前运行中的模型 |
例如,要退出当前模型,可以输入:
>>> /bye
或者要查看当前所有已安装的模型,可以使用:
C:\Users\chk> ollama list
可视化部署 Web UI - ChatBox 配置
ChatBox 是一个用于与 AI 模型进行交互的可视化界面,它能够通过简洁的界面让用户更方便地使用 DeepSeek 模型。接下来,我们将介绍如何将 ChatBox 连接到 Ollama 服务,并进行配置。
第一步:下载 ChatBox AI
-
访问 ChatBox 官网。
-
下载并安装 ChatBox AI 客户端。
-
安装完成后,启动 ChatBox 客户端。
设置中文语言:
-
在 ChatBox 客户端中,进入设置界面。
-
选择语言设置,选择 中文。
第二步:将 ChatBox 连接到远程 Ollama 服务
1. 配置 Windows 环境变量
为了使 Ollama 服务能在您的本地网络中访问,您需要按下面的方式配置以下环境变量:
-
退出 Ollama 服务。
-
打开 Windows 设置 或 控制面板,搜索“环境变量”。
-
编辑用户环境变量,创建或编辑以下变量:
-
OLLAMA_HOST
设置为0.0.0.0
。
-
-
保存设置并重新启动 Ollama。
2. 配置 Ollama 服务的 IP 地址
配置完成后,您可以在本地网络中访问 Ollama 服务。查找您的电脑 IP 地址(通常形式为 192.168.X.X
):
ipconfig
在 ChatBox 客户端中,设置 API Host 为:
http://192.168.X.X:11434
3. 在防火墙中配置端口
如果您的计算机使用防火墙,可能需要允许 Ollama 服务使用 11434 端口。根据您的操作系统设置相应的防火墙规则,以确保没有阻止连接。
4. 配置模型
完成上述设置后,您可以在 ChatBox 中选择并配置要使用的模型。如果上述步骤都成功,可以看到已经下载的模型,选择即可。
第三步:效果演示
配置完成后,启动 ChatBox,并尝试与 DeepSeek 模型进行对话。
运行成功!
总结
通过本教程,您已经学会了如何手动部署 DeepSeek 模型并将其与 ChatBox 连接。通过这些步骤,您可以在本地环境中高效地运行 DeepSeek 模型,进行多轮对话和推理任务。
对于我们的项目而言,该工作是项目的基础性工作,可以用于后续模型微调的调试工作~
更多推荐
所有评论(0)