【Deepseek】服务器部署Deepseek全流程

在服务器上部署 DeepSeek 模型需要细致的准备和配置，但通过上述步骤，您可以成功地在 Linux 服务器上运行并远程访问该模型。根据您的硬件条件和需求，选择合适的模型规模，并进行相应的优化，以获得最佳性能。希望本指南对您的部署过程有所帮助。。

DawnAurora_

838人浏览 · 2025-03-25 13:56:44

DawnAurora_ · 2025-03-25 13:56:44 发布

> 在服务器上部署 DeepSeek 模型是一项复杂但有益的任务，能够显著提升模型的响应速度和数据安全性。本文将详细介绍在 Linux服务器上部署 DeepSeek 模型的全过程，包括硬件要求、环境准备、模型下载与运行、远程访问配置，以及常见问题的解决方案。

1. 硬件要求

在开始部署之前，确保您的服务器满足以下最低硬件要求：

CPU： Intel i5-8400 或 AMD Ryzen 5 2600（4 核心 8 线程，支持 AVX2 指令集）
内存： 至少 8 GB
存储： 至少 3 GB 的可用空间
GPU： 对于基础级模型（如 DeepSeek-R1），GPU 不是必需的，但如果希望提升性能，建议使用支持 FP16 推理的 NVIDIA GPU，如 A10（24GB 显存）

请注意，模型的规模越大，对硬件的要求也越高。例如，部署 DeepSeek-V3 模型时，需要更高配置的 CPU、内存和存储，以及支持 FP16 推理的 GPU。 citeturn0search7

2. 环境准备

2.1 安装 Ollama

Ollama 是一个用于管理和运行大型语言模型的工具。在服务器上安装 Ollama 的步骤如下：

下载并安装 Ollama：

打开终端，执行以下命令：
```
curl -fsSL https://ollama.com/install.sh | sh
```



该命令将下载并安装 Ollama。安装完成后，运行以下命令验证安装是否成功：

ollama --version



如果成功安装，将显示 Ollama 的版本号。

配置 Ollama 服务：

为了使 Ollama 在系统启动时自动运行，并监听所有网络接口，需要进行以下配置：
- 创建服务文件：
```
sudo nano /etc/systemd/system/ollama.service
```
- 在文件中添加以下内容：
```
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
Restart=always
User=root
Environment=OLLAMA_HOST=0.0.0.0

[Install]
WantedBy=multi-user.target
```
  上述配置确保 Ollama 服务在系统启动时自动运行，并监听所有网络接口，允许远程访问。
- 重新加载并启动服务：
```
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
```
  执行这些命令以应用新的配置并启动 Ollama 服务。

2.2 安装 Docker（可选）

如果计划使用基于 Docker 的 Web 界面（如 OpenWebUI）与模型交互，需要在服务器上安装 Docker。安装步骤如下：

更新包索引：
```
sudo apt update
```



安装必要的依赖项：

sudo apt install apt-transport-https ca-certificates curl software-properties-common



添加 Docker 的官方 GPG 密钥：

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -



添加 Docker 的 APT 源：

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu focal stable"



安装 Docker：

sudo apt update
sudo apt install docker-ce



启动并启用 Docker 服务：

sudo systemctl start docker
sudo systemctl enable docker



安装完成后，运行以下命令验证 Docker 是否成功安装：

docker --version



如果成功安装，将显示 Docker 的版本号。

3. 下载并运行 DeepSeek 模型

安装 Ollama 后，可以使用它来下载并运行 DeepSeek 模型。DeepSeek 提供了不同参数规模的模型，例如 7B、32B 和 70B 等。选择适合您服务器硬件配置的模型进行部署。

下载并运行 DeepSeek-R1 32B 模型：

  ollama run deepseek-r1:32b



上述命令将下载并启动 DeepSeek-R1 32B 模型。如果需要其他规模的模型，只需将 32b 替换为相应的参数，例如 7b 或 70b。

请注意，首次运行该命令时，Ollama 将从官方仓库下载模型文件，可能需要较长时间，具体取决于您的网络速度。

4. 配置远程访问

为了使服务器上的 DeepSeek 模型能够被远程访问，需要确保 Ollama 服务监听所有网络接口，并配置防火墙规则允许外部访问。

4.1 配置 Ollama 服务监听所有网络接口

在之前的步骤中，我们已经创建了 ollama.service 文件，并设置了 Environment=OLLAMA_HOST=0.0.0.0，这使得 Ollama 服务监听所有网络接口，允许远程访问。

4.2 配置防火墙规则

根据您的服务器环境，配置防火墙以允许外部访问 Ollama 服务的端口（默认情况下为 11434）。以下是针对常见防火墙的配置示例：

UFW（Ubuntu 默认防火墙）：

sudo ufw allow 11434/tcp
sudo ufw reload

citeturn0search1

iptables：

sudo iptables -A INPUT -p tcp --dport 11434 -j ACCEPT
sudo iptables-save

citeturn0search1

请根据您的防火墙设置，调整相应的规则，确保外部请求能够访问 Ollama 服务。

4.3 使用 Chatbox 进行远程访问

为了提供更友好的交互界面，您可以使用 Chatbox 与部署在服务器上的 DeepSeek 模型进行交互。以下是配置步骤：

安装 Chatbox：

在本地计算机上，访问 Chatbox 官网下载并安装适用于您操作系统的 Chatbox 客户端。
配置远程连接：

打开 Chatbox，选择使用自己的 API Key 或本地模型，然后选择 Ollama API。在配置中，设置 API 地址为 http://<服务器IP>:11434，其中 <服务器IP> 为您的服务器公网 IP 地址。确保您的本地计算机可以访问该地址，并且防火墙已开放相应端口。
验证连接：

配置完成后，您应能够通过 Chatbox 与服务器上的 DeepSeek 模型进行交互，实现远程访问。

5. 性能优化

为了确保 DeepSeek 模型在服务器上高效运行，您可以考虑以下优化措施：

使用 GPU 加速：

如果您的服务器配备了支持 CUDA 的 NVIDIA GPU，您可以利用 GPU 加速模型推理，显著提升性能。确保已安装相应的 GPU 驱动和 CUDA 工具包，并在运行模型时指定使用 GPU。
模型量化：

通过模型量化技术，将模型权重从 32 位浮点数压缩为 16 位或更低，可以减少内存占用和计算需求。请参考 Ollama 或 DeepSeek 的官方文档，了解如何对模型进行量化。
分布式部署：

对于超大规模模型，考虑使用多台服务器进行分布式部署，分担计算负载。这需要额外的配置和协调，但可以显著提升性能。