2025年1月,DeepSeek 正式发布 DeepSeek-R1 推理大模型。DeepSeek-R1 成本价格低廉,性能卓越,在 AI 行业引起了广泛关注。

DeepSeek 提供了多种使用方式,满足不同用户的需求和场景。本地部署在数据安全、性能、定制化、成本、离线可用性和技术自主性方面具有显著优势。

本文详细讲解基于 Ollama+Docker+OpenWebUI 的本地化部署流程,并通过实例代码演示。

1.软硬件需求

1.1 硬件需求

DeepSeek R1 本地部署的硬件需求如下:

  • 基本推荐配置:CPU: 8核或以上,内存: 32GB或以上,存储: 100GB SSD或以上,GPU: NVIDIA GTX 1080或同等性能

  • DeepSeek-7B 推荐配置:RTX3060 以上显卡 + 16G以上 内存 + 50G SSD 存储空间

  • DeepSeek-70B 推荐配置:RTX4060 以上显卡 + 32G以上 内存 + 200G SSD 存储空间

本教程使用的硬件配置为:CPU: Intel i5-12490/3.00GHz,内存: 32GB,存储: 500GB SSD,GPU: NVIDIA GTX 3060。

1.2 软件依赖

DeepSeek R1 本地部署的软件依赖包括操作系统、容器化工具、编程语言、深度学习框架、数据库、消息队列、Web 服务器、GPU 加速工具、版本控制、包管理工具、监控与日志工具以及安全工具。

本教程采用 macOS 操作版本、Python 3.11 版本、PyTorch 1.7 版本、Ollama。

2.Ollama 下载与安装

2.1 Ollama 的下载

Ollama 是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,如 Llama、Qwen、DeepSeek 等。Ollama 提供高效、灵活的大模型部署和管理解决方案,可以简化模型的部署流程。支持macOS、Linux、Windows 操作系统。

官网地址:https://ollama.com/

下载地址:https://ollama.com/download

2.2 Ollama 的安装

下载完成后直接点击Download进行安装(window/linux 雷同)。

安装完成后,cmd 打开命令行窗口,输入 “ollama -v” 测试,显示 ollama 的版本为 “0.5.7”,表明安装成功。

2.3 Ollama 的运行

Ollama 没有用户界面,在后台运行。

打开浏览器,输入 “http://localhost:11434/”,显示 “Ollama is running”。

3.deepseek-r1 模型安装

3.1 Ollma 安装 deepseek-r1 模型

  1. ollama 官网 查找 deepseek-r1 模型。

        2. 点击进入 deepseek-r1 模型,可以选择不同版本的模型(1.5b/7b/14b/32b/70b/671b)。

deepseek-r1 提供多个版本,参数量越大,模型的性能越强大,但也需要更多的存储和计算资源。1.5b 模型参数为15亿/1.1GB,7b 模型参数约为 70亿/4.7GB,14b 模型参数约为 140亿/9GB。

deepseek-r1 不同版本模型的执行命令不同:

1.5b 的命令为:“ollama run deepseek-r1:1.5b” 7b 的命令为:“ollama run deepseek-r1:7b” 14b 的命令为:“ollama run deepseek-r1:14b”

        3.本教程选择选择 7b 模型,在命令行窗口运行安装命令 “ollama run deepseek-r1”(默认 7b),程序会自动下载和安装运行。

        4. 安装完成后显示 “success”,表明安装成功。

3.2 使用 deepseek-r1 模型

  1. 输入 “/?”,可以获得帮助。

        2.在命令行窗口运行命令 “ollama run deepseek-r1”,就可以在提示行输入,与 deepseek-r1 进行聊天。

通过本地命令行窗口可以使用 deepseek-r1,但这让人回到了 DOS 年代,交互体验很差。接下来我们按照 Docker 和 Open WebUI 用户界面,可以更便捷地使用 deepseek-r1。

4.安装 Open WebUI

Open WebUI是一个可扩展、功能丰富、用户友好的自托管 WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括 Ollama 和 OpenAI 兼容的 API。Open WebUI 适配了 Ollama 接口,提供了 web 的方式来访问 Ollama API.

4.1 安装和启动 open-webui (python 环境)

  1. 打开 open-webui 项目的 Github 仓库 https://github.com/open-webui/open-webui

        2.从 README 的安装指南找到用于 Ollama 的安装命令(本地有 Python3.11 的环境) 

​
# Install Open WebUI: Open your terminal and run the following command to install Open WebUI:

pip install open-webui 

# Running Open WebUI: After installation, you can start Open WebUI by executing:

 open-webui serve 

# This will start the Open WebUI server, which you can access at http://localhost:8080

​

        3.执行完运行脚本,可以直接通过 http://localhost:8080 访问界面,按照引导注册账号,就可以使用了。

        4. 如果下载好了 ollama 的模型,在上面可以选择到对应的模型进行对话:

        5. 下拉可以选择安装过的所有大模型。

        6. 可以添加多个大模型进行比较。

Open WebUI 也支持 docker 安装,如果喜欢容器化的方式,可以按照 README 的说明尝试。

4.2 安装OpenWebUI以提供Web界面(Docker 方式)

        1.安装Docker

  • Windows/MacOS/Linux:从Docker官网下载并安装Docker Desktop。

        2.配置Docker(可选)

  • 配置Docker镜像加速,以提高下载速度。具体配置方法可参考Docker官方文档。

        3.下载并运行OpenWebUI

  • 使用Docker拉取OpenWebUI镜像:

docker pull ghcr.io/open-webui/open-webui:main

    • 运行OpenWebUI容器:
    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    启动后使用方法同 4.1。

    关于 Kyligence

    跬智信息(Kyligence)由 Apache Kylin 创始团队于 2016 年创办,是领先的大数据分析和指标平台供应商,提供企业级 OLAP(多维分析)产品 Kyligence Enterprise 和智能一站式指标平台 Kyligence Zen,为用户提供企业级的经营分析能力、决策支持系统及各种基于数据驱动的行业解决方案。

    Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户,包括建设银行、平安银行、浦发银行、北京银行、宁波银行、太平洋保险、中国银联、上汽、长安汽车、星巴克、安踏、李宁、阿斯利康、UBS、MetLife 等全球知名企业,并和微软、亚马逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence 获得来自红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中金资本、歌斐资产、国方资本等机构多次投资。

    Logo

    欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

    更多推荐