
ollama+openwebui 本地化部署deepseek
Ollama 是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。DeepSeek-R1 是由深度求索(DeepSeek)公司开发的高性能 AI 推理模型,专注于数学、代码和自然语言推理任务。在本地环境中部署 DeepSeek-R1 模型,并提供对 Ollama 和 DeepSeek-R1 的简要介绍。在 Open WebUI 界面中,选择已下载的 DeepSeek
本文将详细介绍如何通过 Ollama 和 Open WebUI 在本地环境中部署 DeepSeek-R1 模型,并提供对 Ollama 和 DeepSeek-R1 的简要介绍
1. Ollama 简介
Ollama 是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种模型架构,并提供与 OpenAI 兼容的 API 接口,适合开发者和企业快速搭建私有化 AI 服务。
Ollama 的主要特点包括:
- 轻量化部署:支持在本地设备上运行模型,无需依赖云端服务。
- 多模型支持:兼容多种开源模型,如 LLaMA、DeepSeek 等。
- 高效管理:提供命令行工具,方便用户下载、加载和切换模型。
- 跨平台支持:支持 Windows、macOS 和 Linux 系统。
2. DeepSeek-R1 简介
DeepSeek-R1 是由深度求索(DeepSeek)公司开发的高性能 AI 推理模型,专注于数学、代码和自然语言推理任务。
3. 使用 Ollama 部署 DeepSeek-R1 的步骤
3.1 安装 Ollama
下载 Ollama
-
- 访问 Ollama 官网,根据操作系统(Windows、macOS 或 Linux)下载安装包。
- 对于 Windows 用户,下载
OllamaSetup.exe
并双击安装。
-
验证安装
-
- 安装完成后,打开命令行工具,输入以下命令验证是否安装成功:
ollama --version
- 如果显示版本号,说明安装成功。
- 安装完成后,打开命令行工具,输入以下命令验证是否安装成功:
3.2 下载 DeepSeek-R1 模型
Ollama已经在第一时间支持DeepSeek-R1, 模型地址:deepseek-r1。根据自己的显存选择对应的模型。
该命令会自动下载并加载模型,下载时间取决于网络速度和模型大小。
3.3 使用 Open WebUI
如果有Python环境
如Anaconda直接Pip安装即可 Anaconda下载 Anaconda3-5.3.1-Windows-x86.exe
Anaconda下新建环境(Python 3.11)我这边 命名为webui
conda create --name webui python=3.11
安装
激活环境 conda activate webui
执行安装命令 pip install open-webui
启动服务
open-webui serve
启动后,在浏览器中访问 http://localhost:8080/
即可进入 Open WebUI 界面。
选择模型并测试
在 Open WebUI 界面中,选择已下载的 DeepSeek-R1 模型,即可开始对话测试
更多推荐
所有评论(0)