DeepSeek，一个致力于推动通用人工智能（AGI）发展的小型团队，自2025年2月24日起，通过每天发布一个开源仓库的方式，向AI社区分享他们的技术进展。这种举措并非为了炫耀，而是作为一群开发者，以透明和协作的精神，展示他们在构建在线服务过程中的点滴积累。继前三天的精彩发布后，第四天，DeepSeek聚焦于优化并行策略，发布了三项关键组件，进一步提升大规模AI模型在训练和推理中的效率。

DeepSeek的开源之旅

DeepSeek的开源活动从本周开始，每天解锁一个新的代码仓库，展示他们在生产环境中经过实战检验的基础设施模块。前几天的发布已经让我们见识了他们的实力：

• 第一天：FlashMLA - 针对Hopper GPU优化的高效MLA解码内核，支持变长序列，性能卓越。
• 第二天：DeepEP - 首个面向混合专家（MoE）模型训练和推理的开源EP通信库，提升计算与通信效率。
• 第三天：DeepGEMM - 支持FP8计算的高性能GEMM库，适用于密集和MoE操作，展现惊人吞吐量。

这些工具不仅是DeepSeek在线服务的基石，也为社区提供了可复现、可部署的实用代码。第四天的发布延续了这一势头，主题锁定在优化并行策略上。

第四天亮点：优化并行策略

在AI模型日益复杂化的今天，如何高效利用硬件资源成为关键挑战。第四天，DeepSeek发布了三项专注于并行优化的成果，针对其V3和R1模型的训练和推理需求进行了深度定制。以下是对每一项内容的详细介绍。

1. DualPipe：双向流水线并行算法

DualPipe是一种创新的双向流水线并行算法，旨在实现前向和后向阶段的计算与通信完全重叠，同时减少流水线中的空闲时间（即所谓的"流水线气泡"）。对于像DeepSeek V3和R1这样的大型模型，硬件资源的高效利用至关重要。DualPipe通过优化微批次的调度，确保GPU在训练过程中能够持续工作，从而显著缩短训练时间。

传统的流水线并行方法中，某些阶段常因等待数据而产生空闲。DualPipe通过双向流动解决了这一问题：当模型的一部分在前向计算时，另一部分可以同时进行后向计算，通信过程与计算过程无缝重叠。这种设计大幅提高了硬件利用率，为大规模模型训练提供了新思路。

关键特点：

• 前后向计算重叠：通过双向流水线设计，减少了前向和反向阶段的空闲时间。
• 内存使用优化：DualPipe能够减少对内存的需求，显著提高内存利用率。
• 性能提升：尤其适用于复杂的Mixture of Experts（MoE）训练和推理任务。

仓库地址：https://github.com/deepseek-ai/DualPipe

2. EPLB：专家并行负载均衡器

在混合专家（MoE）模型中，不同专家的负载会因输入数据的变化而动态波动，如何在多个GPU间保持负载均衡成为一大难题。EPLB（Expert Parallelism Load Balancer）通过复制高负载专家并对其进行合理分配，确保GPU间的计算任务分布均匀。这种策略有效减少瓶颈，提升整体吞吐量。

EPLB采用启发式方法，根据专家的预估负载进行打包，甚至考虑物理拓扑结构，以尽量减少节点间通信开销。在DeepSeek V3中，结合其分组限制的专家路由策略，EPLB还能将同一组的专家尽量分配到同一节点，进一步优化性能。这种灵活的负载均衡方案，为MoE模型的并行执行提供了强有力的支持。

关键特点：

• 负载均衡：通过复制专家，确保GPU负载平衡，避免了某些GPU过载而其他GPU空闲的情况。
• 高效的通信策略：通过将相同专家组的专家尽量放置在同一节点，减少了跨节点的数据传输。
• 灵活的扩展性：EPLB支持不同规模的集群，能够适应不同的负载和任务需求。

仓库地址：https://github.com/deepseek-ai/eplb

3. 计算-通信重叠分析

理解计算与通信的重叠情况是优化性能的基础。DeepSeek此次开放了V3和R1模型的性能分析数据和工具，帮助开发者洞察其并行策略的实际效果。这些数据包括GPU利用率、通信模式以及训练和推理过程中各组件的协作细节。

通过公开这些分析资料，DeepSeek不仅展示了自身技术的透明度，还为社区提供了宝贵的参考。研究人员和开发者可以利用这些信息，优化自己的AI工作负载，甚至复现类似的性能提升策略。

仓库地址：https://github.com/deepseek-ai/profile-data

开源的意义与未来展望

DeepSeek通过连续四天的开源发布，展现了他们在AI基础设施建设上的技术积累。这些优化并行策略的发布，既是对其技术能力的证明，也是对社区协作精神的践行。无论是DualPipe的流水线创新、EPLB的负载均衡，还是性能数据的公开分享，这些工具都为构建高效、可扩展的AI系统提供了坚实基础。

对于希望深入了解这些技术的读者，DeepSeek已将相关代码和数据开放在GitHub上，欢迎探索和使用：

• DualPipe
• EPLB
• Profile Data

随着开源活动的持续进行，后续几天还将有更多精彩内容解锁。DeepSeek用实际行动证明，技术分享是加速行业进步的动力。

✨关注我，让前沿科技触手可及！

• https://mp.weixin.qq.com/s/PNfUl4Kv5PYmOC2MHqBKhQ