
攻略丨搭建属于自己的 DeepSeek,本地部署「手搓教程」在此!
本文详细讲解基于 Ollama+Docker+OpenWebUI 的本地化部署流程,并通过实例代码演示。
2025年1月,DeepSeek 正式发布 DeepSeek-R1 推理大模型。DeepSeek-R1 成本价格低廉,性能卓越,在 AI 行业引起了广泛关注。
DeepSeek 提供了多种使用方式,满足不同用户的需求和场景。本地部署在数据安全、性能、定制化、成本、离线可用性和技术自主性方面具有显著优势。
本文详细讲解基于 Ollama+Docker+OpenWebUI 的本地化部署流程,并通过实例代码演示。
1.软硬件需求
1.1 硬件需求
DeepSeek R1 本地部署的硬件需求如下:
-
基本推荐配置:CPU: 8核或以上,内存: 32GB或以上,存储: 100GB SSD或以上,GPU: NVIDIA GTX 1080或同等性能
-
DeepSeek-7B 推荐配置:RTX3060 以上显卡 + 16G以上 内存 + 50G SSD 存储空间
-
DeepSeek-70B 推荐配置:RTX4060 以上显卡 + 32G以上 内存 + 200G SSD 存储空间
本教程使用的硬件配置为:CPU: Intel i5-12490/3.00GHz,内存: 32GB,存储: 500GB SSD,GPU: NVIDIA GTX 3060。
1.2 软件依赖
DeepSeek R1 本地部署的软件依赖包括操作系统、容器化工具、编程语言、深度学习框架、数据库、消息队列、Web 服务器、GPU 加速工具、版本控制、包管理工具、监控与日志工具以及安全工具。
本教程采用 macOS 操作版本、Python 3.11 版本、PyTorch 1.7 版本、Ollama。
2.Ollama 下载与安装
2.1 Ollama 的下载
Ollama 是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,如 Llama、Qwen、DeepSeek 等。Ollama 提供高效、灵活的大模型部署和管理解决方案,可以简化模型的部署流程。支持macOS、Linux、Windows 操作系统。
官网地址:https://ollama.com/
下载地址:https://ollama.com/download
2.2 Ollama 的安装
下载完成后直接点击Download进行安装(window/linux 雷同)。
安装完成后,cmd 打开命令行窗口,输入 “ollama -v” 测试,显示 ollama 的版本为 “0.5.7”,表明安装成功。
2.3 Ollama 的运行
Ollama 没有用户界面,在后台运行。
打开浏览器,输入 “http://localhost:11434/”,显示 “Ollama is running”。
3.deepseek-r1 模型安装
3.1 Ollma 安装 deepseek-r1 模型
-
从 ollama 官网 查找 deepseek-r1 模型。
2. 点击进入 deepseek-r1 模型,可以选择不同版本的模型(1.5b/7b/14b/32b/70b/671b)。
deepseek-r1 提供多个版本,参数量越大,模型的性能越强大,但也需要更多的存储和计算资源。1.5b 模型参数为15亿/1.1GB,7b 模型参数约为 70亿/4.7GB,14b 模型参数约为 140亿/9GB。
deepseek-r1 不同版本模型的执行命令不同:
1.5b 的命令为:“ollama run deepseek-r1:1.5b” 7b 的命令为:“ollama run deepseek-r1:7b” 14b 的命令为:“ollama run deepseek-r1:14b”
3.本教程选择选择 7b 模型,在命令行窗口运行安装命令 “ollama run deepseek-r1”(默认 7b),程序会自动下载和安装运行。
4. 安装完成后显示 “success”,表明安装成功。
3.2 使用 deepseek-r1 模型
-
输入 “/?”,可以获得帮助。
2.在命令行窗口运行命令 “ollama run deepseek-r1”,就可以在提示行输入,与 deepseek-r1 进行聊天。
通过本地命令行窗口可以使用 deepseek-r1,但这让人回到了 DOS 年代,交互体验很差。接下来我们按照 Docker 和 Open WebUI 用户界面,可以更便捷地使用 deepseek-r1。
4.安装 Open WebUI
Open WebUI是一个可扩展、功能丰富、用户友好的自托管 WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括 Ollama 和 OpenAI 兼容的 API。Open WebUI 适配了 Ollama 接口,提供了 web 的方式来访问 Ollama API.
4.1 安装和启动 open-webui (python 环境)
-
打开 open-webui 项目的 Github 仓库 https://github.com/open-webui/open-webui:
2.从 README 的安装指南找到用于 Ollama 的安装命令(本地有 Python3.11 的环境)
# Install Open WebUI: Open your terminal and run the following command to install Open WebUI:
pip install open-webui
# Running Open WebUI: After installation, you can start Open WebUI by executing:
open-webui serve
# This will start the Open WebUI server, which you can access at http://localhost:8080
3.执行完运行脚本,可以直接通过 http://localhost:8080 访问界面,按照引导注册账号,就可以使用了。
4. 如果下载好了 ollama 的模型,在上面可以选择到对应的模型进行对话:
5. 下拉可以选择安装过的所有大模型。
6. 可以添加多个大模型进行比较。
Open WebUI 也支持 docker 安装,如果喜欢容器化的方式,可以按照 README 的说明尝试。
4.2 安装OpenWebUI以提供Web界面(Docker 方式)
1.安装Docker
-
Windows/MacOS/Linux:从Docker官网下载并安装Docker Desktop。
2.配置Docker(可选)
-
配置Docker镜像加速,以提高下载速度。具体配置方法可参考Docker官方文档。
3.下载并运行OpenWebUI
-
使用Docker拉取OpenWebUI镜像:
docker pull ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
-
访问http://localhost:3000以查看OpenWebUI的Web界面。
启动后使用方法同 4.1。
关于 Kyligence
跬智信息(Kyligence)由 Apache Kylin 创始团队于 2016 年创办,是领先的大数据分析和指标平台供应商,提供企业级 OLAP(多维分析)产品 Kyligence Enterprise 和智能一站式指标平台 Kyligence Zen,为用户提供企业级的经营分析能力、决策支持系统及各种基于数据驱动的行业解决方案。
Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户,包括建设银行、平安银行、浦发银行、北京银行、宁波银行、太平洋保险、中国银联、上汽、长安汽车、星巴克、安踏、李宁、阿斯利康、UBS、MetLife 等全球知名企业,并和微软、亚马逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence 获得来自红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中金资本、歌斐资产、国方资本等机构多次投资。
更多推荐
所有评论(0)