1. 前言

说到本地部署大模型，就不得不提到 Ollama。Ollama 是一个开源项目，旨在简化大语言模型（LLM）在本地环境中的部署和使用。它为用户提供了一个简单易用的接口，使得即使没有深厚技术背景的用户也能轻松地在自己的设备上运行和管理大模型。本篇文章将以部署国产最新崛起的 AI 大模型 DeepSeek R1 为例，手把手教你如何利用 Ollama 在本地环境中快速搭建和运行这些先进的 AI 模型。

2. Ollama 简介

Ollama 是一个专注于简化大语言模型（LLM）本地部署的开源工具。它的设计目标是让用户能够以最少的配置和操作，轻松在本地设备上运行和管理各种大模型。无论是开发者、研究者，还是普通用户，都可以通过 Ollama 快速体验大语言模型的强大能力，而无需依赖云端服务或复杂的部署流程。

GitHub：https://github.com/ollama/ollama

Ollama 核心特点

• 开箱即用：提供了预配置的模型包，用户只需通过简单的命令即可下载和运行模型，无需手动配置环境或处理复杂的依赖关系。
• 跨平台支持：支持 Windows、macOS 和 Linux 系统，覆盖了大多数主流操作系统，满足不同用户的需求。
• 模型管理：用户可以轻松管理多个模型版本，包括下载、更新和切换模型。它还支持自定义模型配置。
• 资源优化：针对本地硬件进行了优化，能够在有限的资源下高效运行大模型。无论是高性能 GPU 还是普通 CPU，都能流畅的体验。
• 开发者友好：提供了丰富的 API 和详细的文档，方便开发者将其集成到自己的应用中，或者进行二次开发。

Ollama 的适用场景

• 个人学习与研究：非常适合个人用户在自己的电脑上探索大语言模型的能力，无需依赖云端服务。
• 本地开发与测试：开发者可以利用 Ollama 在本地快速测试和调试基于大模型的应用，提升开发效率。
• 隐私保护：由于模型完全运行在本地，Ollama 特别适合对数据隐私有较高要求的场景，例如医疗、金融等领域。

3. Ollama 安装

Ollama 的安装也特别的简单，基本上只需要鼠标点点点即可，以下是具体的安装步骤：

1.打开 Ollama 官网：https://ollama.com/download，根据自己的操作系统下载不同的安装程序包。

2.下载完成后，双开打开点击 “install” 即可，然后就是耐心等待几分钟。

3.经过了几分钟，你可能发现安装的界面不见了，不要慌这是正常的。接下来就是打开 CMD 命令窗口 (通过 Win + R 键可打开)；

当出现运行窗口时，输入 cmd 点击确定即可，在命令窗口中再输入 ollama 如果输出结果跟我一样，那就表示成功安装了。

这里输出的是 ollama 命令的用法的，具体如下：

用法：
ollama [flags]
ollama [命令]

可用命令：
serve 		启动 ollama
create 		从 Modelfile 创建模型
show 		显示模型信息
run 		运行模型
stop 		停止正在运行的模型
pull 		从注册表拉取模型
push 		将模型推送到注册表
list 		列出模型
ps 			列出正在运行的模型
cp 			复制模型
rm 			删除模型
help 		获取命令帮助

标志：
-h, --help 	显示帮助信息
-v, --version 	显示版本信息

使用 "ollama [命令] --help" 获取有关命令的更多信息。

4. Open - Webui 安装

什么是 Open WebUI ？

Open WebUI 是一个开源的、基于 Web 的用户界面（UI）框架，专为与大语言模型（LLM）交互而设计。它提供了一个直观、友好的图形界面，使用户能够通过浏览器轻松地与本地或远程部署的大语言模型进行交互，而无需依赖复杂的命令行工具。Open WebUI 支持多种功能，包括聊天、模型管理、历史记录查看等，极大地提升了用户的使用体验。

GitHub：https://github.com/open-webui/open-webui

为什么将 Open WebUI 与 Ollama 结合使用？

Ollama主要是通过命令进行操作，对于不熟悉命令行的用户来说可能不够友好。而 Open WebUI 正好弥补了这一不足，它为用户提供了一个直观的图形界面，使得与 Ollama 部署的模型交互变得更加简单和高效。

Open - Webui 安装

Open - Webui 提供了多种安装方式，这里我用的是 Python pip。

如果你还没有安装 Python，可以查看下面这篇安装教程。注意：请确保安装的是 Python 3.11 版本避免兼容性问题。

Python安装教程：https://blog.csdn.net/Palpitate_2024/article/details/145406375?spm=1001.2014.3001.5501

通过 Python pip 安装

打开 CMD 命令窗口，执行以下命令即可安装。

pip install open-webui

安装完成后，执行以下命令即可运行。

open-webui serve

这将启动 Open WebUI 服务器，可以通过 http://localhost:8080 进行访问；首次启动后，需要注册一个管理账号；点击注册即可。

5. 模型下载 - 两种方式

您应该至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 的 RAM 来运行 13B 模型，32 GB 的 RAM 来运行 33B 模型。

您应该至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 的 RAM 来运行 13B 模型，32 GB 的 RAM 来运行 33B 模型。

您应该至少有 8 GB 的 RAM 来运行 7B 模型，16 GB 的 RAM 来运行 13B 模型，32 GB 的 RAM 来运行 33B 模型。

5.1 直接使用 Ollama 下载

打开 Ollama 模型列表：https://ollama.com/search

在模型列表中，找到我们要下载的 Deep Seek -r1;

当然这里的模型都是可以下载的，比如千问，Gemma 2，Llama 3.3等，下载方法都是一样的。

这里我要安装的是 14B，选择好下载的模型后复制右边的安命令到 Cmd 中执行即可。

这里安装的时间取决于网速，耐心等待即可；安装完成后，我们再去 open webui 刷新一下就可以愉快的玩耍了。

5.2 使用 Open Webui 下载

打开 Open Webui 后，在模型搜索处输入需要下载的模型名称以及模型型号即可。

这里我的以千问的 2.5 7 B大模型为例，在搜索框输入需要下载的模型点击 从"Ollama.com" 拉取即可。

以上就是本篇文章的全部内容了，希望能够帮助你顺利在本地部署和运行大语言模型，探索 AI 的无限可能。

如果你在部署过程中遇到任何问题，欢迎在评论区中提问或参考 Ollama 和 Open WebUI 的官方文档，以及在相关社区中寻求帮助。

Happy coding! 🚀