前言

随着大语言模型的广泛应用,本地部署模型的需求也日益增加。Ollama 提供了一个简单高效的本地部署平台,而 DeepSeek 是一个性能出色的大语言模型。通过 Chatbox,我们可以实现与本地模型的便捷交互。本文将详细介绍如何使用 Ollama 在本地部署 DeepSeek 模型,并通过 Chatbox 进行连接和使用。

一、安装 Ollama

  1. 下载 Ollama

    • 访问 Ollama 官方网站 Ollama,点击“Download”按钮,选择适合您操作系统的版本进行下载。

    • Ollama 支持 Windows、macOS 和 Linux 系统。

  2. 安装 Ollama

    • 下载完成后,双击安装文件并按照提示进行安装。

    • 安装完成后,建议将 Ollama 的安装路径添加到系统的环境变量中,方便后续操作。

  3. 验证安装

    • 打开命令行工具win + R,输入cmd并回车,输入以下命令:

      ollama --version
    • 如果安装成功,您将看到类似“ollama version is 0.5.7”的版本信息。

二、部署 DeepSeek 模型

  1. 选择 DeepSeek 模型

    • 在 Ollama 官网的模型列表中找到 DeepSeek-R1 模型。

    • DeepSeek-R1 提供多种参数规模的模型,如 1.5B、7B、8B 等。根据您的硬件配置选择合适的模型版本。

    • 以下是使用 Ollama 本地部署 DeepSeek 不同模型版本的硬件配置要求:

      模型版本 模型大小 CPU GPU 内存 存储
      DeepSeek-R1-Distill-Qwen-1.5B 1.5B Intel Core i5/AMD Ryzen 5 及以上 无强制要求,有 1GB 及以上显存可提升性能 最低 8GB,推荐 16GB+ 至少 10GB,建议留更多缓存空间
      DeepSeek-R1-Distill-Qwen-7B 7B Intel Core i7/AMD Ryzen 7 及以上 无强制要求,有 4GB 以上显存更好,推荐 8 - 12GB 最低 16GB,推荐 32GB+ 至少 12GB,建议 30GB+
      DeepSeek-R1-Distill-Llama-8B 8B Intel Core i7/AMD Ryzen 7 及以上 无强制要求,有 4.5GB 以上显存更好,推荐 8GB+ 最低 16GB,推荐 32GB+ 至少 12GB,建议 30GB+
      DeepSeek-R1-Distill-Qwen-14B 14B Intel Core i9/AMD Ryzen 9 及以上 8GB 以上,推荐 12GB+,如 RTX 3080 及以上 最低 32GB,推荐 64GB+ 至少 20GB,建议 50GB+
      DeepSeek-R1-Distill-Qwen-32B 32B 高端多核CPU,如 AMD Ryzen 9 7950X 24GB 及以上显存,多 GPU 配置 最低 64GB,推荐 128GB+ 至少 40GB,建议 80GB+
      DeepSeek-R1-Distill-Llama-70B 70B 高端多核CPU,如 AMD Ryzen 9 7950X 48GB 及以上显存,多 GPU 配置 最低 128GB,推荐 256GB+ 至少 80GB,建议 150GB+
  2. 下载并运行模型

    • 在命令行中输入以下命令来下载并运行 DeepSeek 模型(以 8B 版本为例):

      ollama run deepseek-r1:8b
    • 如果您的网络环境较慢,可以多次尝试下载。

  3. 测试模型

    • 在命令行中与模型进行简单的对话测试,例如输入:

      >>> Hi! Who are you?
    • 如果模型能够正常响应,说明部署成功。

三、安装并配置 Chatbox

  1. 下载安装 Chatbox

  2. 配置 Chatbox

    • 打开 Chatbox 软件,点击左下角的设置图标。

    • 在设置中选择“模型提供方”,选择“Ollama”。

    • 在“API 域名”框中填写 http://localhost:11434(这是 Ollama 的默认端口)。

    • 在“模型”下拉菜单中选择您部署的 DeepSeek 模型版本(如 deepseek-r1:1.5b)。

    • 其他选项保持默认即可,最后点击“保存”。

  3. 开始使用

    • 配置完成后,您可以在 Chatbox 界面左侧栏中选择一个 AI 智能助手,如“Just chat”,然后在输入框中与 DeepSeek 模型进行对话。

四、注意事项

  1. 硬件要求

    • 部署 DeepSeek 模型需要一定的硬件资源,特别是显存和内存。建议根据您的硬件配置选择合适的模型版本。

    • 例如,1.5B 版本的模型对硬件要求相对较低,适合普通笔记本电脑。

  2. 防火墙设置

    • 如果您在配置 Chatbox 时遇到连接失败的问题,可能需要检查防火墙设置,确保防火墙放行端口 11434。

  3. 模型更新

    • 如果您需要更新模型或尝试其他版本,可以重复上述下载和运行模型的步骤。

五、总结

通过 Ollama 部署 DeepSeek 模型并使用 Chatbox 进行交互是一种简单且高效的方式。Ollama 提供了强大的本地部署支持,而 Chatbox 则提供了友好的用户界面,让您可以轻松地与本地模型进行对话。希望本教程能够帮助您快速上手并体验本地大语言模型的魅力。

如果在部署过程中遇到任何问题,建议参考 Ollama 和 Chatbox 的官方文档,或者在相关社区中寻求帮助。

祝您使用愉快!

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐