整理 | 郑丽媛

出品 | CSDN（ID：CSDNnews）

2 月 27 日，DeepSeek “开源周” 来到了第四天，已然接近尾声——不同于前三天，今天 DeepSeek 聚焦于优化并行策略，一次性发布了 3 个开源项目：DualPipe、专家并行负载均衡算法（EPLB）以及 DeepSeek Infra 中的性能分析数据。

（1）DualPipe：这是一种创新的双向流水线并行（Pipeline Parallelism）算法，首次在 DeepSeek-V3 技术报告中提出。该算法能够实现前向/后向计算与通信阶段的完全重叠，可显著减少流水线空泡（Pipeline Bubbles）。

（项目地址：https://github.com/deepseek-ai/DualPipe）

（2）EPLB：这是 DeepSeek-V3 训练框架中实际使用的专家并行负载均衡算法（EPLB）。该算法基于对专家负载的估算，计算出一个平衡的专家复制和分配方案。同时 DeepSeek 提醒道，该开源代码库不包含专家负载预测的确切方法，常规方法是使用历史统计数据的移动平均值来预测。

（项目地址：https://github.com/deepseek-ai/EPLB）

（3）DeepSeek Infra 中的性能分析数据：为了帮助开发者更深入地了解通信-计算重叠策略以及底层技术细节，DeepSeek 选择开源其训练和推理框架中收集的性能分析数据。据官方介绍，这些数据是通过 PyTorch Profiler 采集的，开发者下载后可直接在 Chrome 浏览器（chrome://tracing） 或 Edge 浏览器（edge://tracing） 中进行可视化分析。

（项目地址：https://github.com/deepseek-ai/profile-data）

尤其值得一提的是，在 DualPipe 的 README 文件中，特别提到梁文峰本人也参与了该项目的创建与开发。

对此，有网友评价道：“这种老板亲自参与到大模型底层代码级别的，恐怕全球只有一个了。”

参考链接：https://x.com/deepseek_ai/status/1894931931554558199