终极指南：DeepSeek推理系统API设计最佳实践与接口规范解析

【免费下载链接】open-infra-index Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation 项目地址: https://gitcode.com/gh_mirrors/op/open-infra-index

GitHub 加速计划 / op / open-infra-index 是一套经过生产验证的AI基础设施工具集，专为高效AGI开发和社区驱动创新而设计。本文将深入探讨其推理系统的API设计最佳实践，帮助开发者构建高性能、可扩展的AI推理服务。

推理系统设计核心原则 🚀

DeepSeek推理系统的优化目标始终围绕更高吞吐量和更低延迟两大核心指标。为实现这些目标，系统采用了跨节点专家并行（EP）架构，这一设计带来了双重优势：

• 提升吞吐量：通过显著扩展批处理大小，增强GPU矩阵计算效率
• 降低延迟：将专家分布在多个GPU上，每个GPU仅处理少量专家，减少内存访问需求

大规模跨节点专家并行架构

DeepSeek-V3/R1模型包含大量专家（每层256个专家中仅激活8个），这种高度稀疏性要求极大的整体批处理规模。系统在预填充和解码阶段采用不同的并行策略：

• 预填充阶段：[Routed Expert EP32, MLA/Shared Expert DP32] - 每个部署单元跨越4个节点，包含32个冗余路由专家，每个GPU处理9个路由专家和1个共享专家
• 解码阶段：[Routed Expert EP144, MLA/Shared Expert DP144] - 每个部署单元跨越18个节点，包含32个冗余路由专家，每个GPU管理2个路由专家和1个共享专家

通信与计算重叠优化技巧 ⚡

大规模跨节点EP架构不可避免地引入了显著的通信开销。DeepSeek通过创新的双批次重叠策略，将通信成本隐藏在计算过程中，大幅提升整体吞吐量。

预填充阶段的通信-计算重叠

在预填充阶段，系统将一批请求拆分为两个微批次，交替执行，使一个微批次的通信成本被另一个微批次的计算所掩盖。

 图：推理系统预填充阶段的通信-计算重叠机制，有效隐藏通信延迟

解码阶段的通信-计算重叠

解码阶段中，不同阶段的执行时间不平衡。系统将注意力层细分为两个步骤，并使用5阶段流水线实现无缝的通信-计算重叠。

 图：推理系统解码阶段的通信-计算重叠机制，进一步优化系统吞吐量

更多关于通信-计算重叠机制的详细信息可参考项目文档。

负载均衡实现方案 🔄

大规模并行（包括数据并行和专家并行）带来了一个关键挑战：如果单个GPU的计算或通信负载过重，就会成为性能瓶颈，拖慢整个系统，同时让其他GPU处于空闲状态。DeepSeek推理系统通过多层次负载均衡策略解决这一问题：

1. 预填充负载均衡器

核心问题：不同数据并行实例间的请求数量和序列长度差异导致核心注意力计算和调度发送负载不平衡。

优化目标：

• 平衡各GPU间的核心注意力计算（核心注意力计算负载均衡）
• 均衡每个GPU的输入令牌数量（调度发送负载均衡），防止特定GPU上的处理时间过长

2. 解码负载均衡器

核心问题：不同数据并行实例间的请求数量和序列长度差异导致核心注意力计算（与KV缓存使用相关）和调度发送负载的差异。

优化目标：

• 平衡各GPU间的KV缓存使用（核心注意力计算负载均衡）
• 均衡每个GPU的请求数量（调度发送负载均衡）

3. 专家并行负载均衡器

核心问题：对于给定的MoE模型，存在固有的高负载专家，导致不同GPU上的专家计算工作负载不平衡。

优化目标：

• 平衡每个GPU上的专家计算（即最小化所有GPU间的最大调度接收负载）

DeepSeek在线推理系统架构详解 📊

DeepSeek推理系统采用了模块化的架构设计，确保高可用性和可扩展性。系统主要由以下组件构成：

 图：DeepSeek在线推理系统架构，展示了API服务器、负载均衡器和服务之间的交互

• API服务器：处理客户端请求，协调整个推理流程
• 预填充负载均衡器：优化预填充阶段的负载分配
• 解码负载均衡器：优化解码阶段的负载分配
• 专家并行负载均衡器：管理专家计算资源的分配
• 预填充服务：处理推理的预填充阶段
• 解码服务：处理推理的解码阶段
• 外部KV缓存存储：可选组件，用于高效存储和检索KV缓存数据

性能优化与资源管理策略 📈

DeepSeek推理服务部署在H800 GPU上，采用与训练一致的精度设置：矩阵乘法和调度传输采用与训练对齐的FP8格式，而核心MLA计算和组合传输使用BF16格式，确保服务性能最优。

系统还实现了动态资源分配机制，根据负载情况调整资源使用：

• 白天高峰期：所有节点部署推理服务，应对高负载
• 夜间低负载期：减少推理节点，将资源分配给研究和训练

 图：H800推理服务节点数量随时间变化，展示了动态资源分配策略的效果

在过去24小时内（UTC+8 2025年2月27日12:00至2月28日12:00），V3和R1推理服务的峰值节点占用达到278个，平均占用226.75个节点（每个节点包含8个H800 GPU）。系统实现了卓越的性能指标：

• 总输入令牌：608B，其中342B令牌（56.3%）命中磁盘KV缓存
• 总输出令牌：168B，平均输出速度为20-22 tokens/s
• 每个H800节点在预填充期间平均吞吐量约为73.7k tokens/s输入（含缓存命中），在解码期间约为14.8k tokens/s输出

API设计最佳实践总结 📝

基于DeepSeek推理系统的设计经验，我们总结出以下API设计最佳实践：

1. 模块化设计：采用预填充-解码分离架构，针对不同阶段优化API接口

2. 并行策略适配：为预填充和解码阶段设计不同的并行策略API，优化资源利用

3. 通信计算重叠：通过API设计支持双批次重叠策略，隐藏通信延迟

4. 多层次负载均衡：设计API支持预填充、解码和专家并行三个层级的负载均衡

5. 动态资源管理：提供API支持根据负载情况动态调整资源分配

6. 缓存优化：设计高效的KV缓存API，提高缓存命中率，降低计算成本

7. 性能监控：提供全面的性能指标API，支持实时监控和优化

这些最佳实践已在DeepSeek的大规模生产环境中得到验证，可帮助开发者构建高效、可靠的AI推理系统。要开始使用这些工具，您可以通过以下命令克隆仓库：

git clone https://gitcode.com/gh_mirrors/op/open-infra-index

通过遵循这些API设计规范和最佳实践，您可以构建出高性能、可扩展的AI推理服务，为AGI开发和创新提供强大支持。

【免费下载链接】open-infra-index Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation 项目地址: https://gitcode.com/gh_mirrors/op/open-infra-index