
教你如何本地部署 DeepSeek-R1 并通过 Chatbox 连接使用(超详细)
(超详细)教你使用 Ollama 本地部署 DeepSeek 并通过 Chatbox 连接使用,看这一篇就够了
前言
随着大语言模型的广泛应用,本地部署模型的需求也日益增加。Ollama 提供了一个简单高效的本地部署平台,而 DeepSeek 是一个性能出色的大语言模型。通过 Chatbox,我们可以实现与本地模型的便捷交互。本文将详细介绍如何使用 Ollama 在本地部署 DeepSeek 模型,并通过 Chatbox 进行连接和使用。
一、安装 Ollama
-
下载 Ollama
-
访问 Ollama 官方网站 Ollama,点击“Download”按钮,选择适合您操作系统的版本进行下载。
-
Ollama 支持 Windows、macOS 和 Linux 系统。
-
-
安装 Ollama
-
下载完成后,双击安装文件并按照提示进行安装。
-
安装完成后,建议将 Ollama 的安装路径添加到系统的环境变量中,方便后续操作。
-
-
验证安装
-
打开命令行工具win + R,输入cmd并回车,输入以下命令:
ollama --version
-
如果安装成功,您将看到类似“ollama version is 0.5.7”的版本信息。
-
二、部署 DeepSeek 模型
-
选择 DeepSeek 模型
-
在 Ollama 官网的模型列表中找到 DeepSeek-R1 模型。
-
DeepSeek-R1 提供多种参数规模的模型,如 1.5B、7B、8B 等。根据您的硬件配置选择合适的模型版本。
-
以下是使用 Ollama 本地部署 DeepSeek 不同模型版本的硬件配置要求:
模型版本 模型大小 CPU GPU 内存 存储 DeepSeek-R1-Distill-Qwen-1.5B 1.5B Intel Core i5/AMD Ryzen 5 及以上 无强制要求,有 1GB 及以上显存可提升性能 最低 8GB,推荐 16GB+ 至少 10GB,建议留更多缓存空间 DeepSeek-R1-Distill-Qwen-7B 7B Intel Core i7/AMD Ryzen 7 及以上 无强制要求,有 4GB 以上显存更好,推荐 8 - 12GB 最低 16GB,推荐 32GB+ 至少 12GB,建议 30GB+ DeepSeek-R1-Distill-Llama-8B 8B Intel Core i7/AMD Ryzen 7 及以上 无强制要求,有 4.5GB 以上显存更好,推荐 8GB+ 最低 16GB,推荐 32GB+ 至少 12GB,建议 30GB+ DeepSeek-R1-Distill-Qwen-14B 14B Intel Core i9/AMD Ryzen 9 及以上 8GB 以上,推荐 12GB+,如 RTX 3080 及以上 最低 32GB,推荐 64GB+ 至少 20GB,建议 50GB+ DeepSeek-R1-Distill-Qwen-32B 32B 高端多核CPU,如 AMD Ryzen 9 7950X 24GB 及以上显存,多 GPU 配置 最低 64GB,推荐 128GB+ 至少 40GB,建议 80GB+ DeepSeek-R1-Distill-Llama-70B 70B 高端多核CPU,如 AMD Ryzen 9 7950X 48GB 及以上显存,多 GPU 配置 最低 128GB,推荐 256GB+ 至少 80GB,建议 150GB+
-
-
下载并运行模型
-
在命令行中输入以下命令来下载并运行 DeepSeek 模型(以 8B 版本为例):
ollama run deepseek-r1:8b
-
如果您的网络环境较慢,可以多次尝试下载。
-
-
测试模型
-
在命令行中与模型进行简单的对话测试,例如输入:
>>> Hi! Who are you?
-
如果模型能够正常响应,说明部署成功。
-
三、安装并配置 Chatbox
-
下载安装 Chatbox
-
访问 Chatbox 官方网站 Chatbox AI: Your AI Copilot, Best AI Client on any device, Free Download,根据您的操作系统选择对应的安装包进行下载。
-
下载完成后,按照提示进行安装。
-
-
配置 Chatbox
-
打开 Chatbox 软件,点击左下角的设置图标。
-
在设置中选择“模型提供方”,选择“Ollama”。
-
在“API 域名”框中填写
http://localhost:11434
(这是 Ollama 的默认端口)。 -
在“模型”下拉菜单中选择您部署的 DeepSeek 模型版本(如
deepseek-r1:1.5b
)。 -
其他选项保持默认即可,最后点击“保存”。
-
-
开始使用
-
配置完成后,您可以在 Chatbox 界面左侧栏中选择一个 AI 智能助手,如“Just chat”,然后在输入框中与 DeepSeek 模型进行对话。
-
四、注意事项
-
硬件要求
-
部署 DeepSeek 模型需要一定的硬件资源,特别是显存和内存。建议根据您的硬件配置选择合适的模型版本。
-
例如,1.5B 版本的模型对硬件要求相对较低,适合普通笔记本电脑。
-
-
防火墙设置
-
如果您在配置 Chatbox 时遇到连接失败的问题,可能需要检查防火墙设置,确保防火墙放行端口 11434。
-
-
模型更新
-
如果您需要更新模型或尝试其他版本,可以重复上述下载和运行模型的步骤。
-
五、总结
通过 Ollama 部署 DeepSeek 模型并使用 Chatbox 进行交互是一种简单且高效的方式。Ollama 提供了强大的本地部署支持,而 Chatbox 则提供了友好的用户界面,让您可以轻松地与本地模型进行对话。希望本教程能够帮助您快速上手并体验本地大语言模型的魅力。
如果在部署过程中遇到任何问题,建议参考 Ollama 和 Chatbox 的官方文档,或者在相关社区中寻求帮助。
祝您使用愉快!
更多推荐
所有评论(0)