摩尔线程创新应用DeepSeek开源通信库DeepEP，引领并行算法DualPipe新篇章
在科技日新月异的今天，摩尔线程以其卓越的创新实力，再次引领了并行算法的新篇章。近日，摩尔线程成功支持DeepSeek开源通信库DeepEP和并行算法DualPipe，并发布了相关开源代码仓库MT-DeepEP和MT-DualPipe。这一举措无疑将推动深度学习领域的发展，并为广大开发者带来更为高效、灵活的解决方案。
DeepEP，作为一款用于MoE（混合专家）模型训练和推理的开源EP（专家并行）通信库，主要适用于大模型训练，特别是需要EP的集群训练。它通过优化通信信道的使用率，显著提升了训练效率。而DualPipe则是DeepSeek-V3提出的双向流水线并行算法，通过前向计算与后向计算阶段的计算与通信完全重叠，有效减少了“流水线气泡”（设备空闲等待）。
摩尔线程依托深度学习框架Torch-MUSA和MUSA软件栈全方位的兼容性，实现了对DualPipe这一算法的支持。目前，MT-DualPipe可以完整接入摩尔线程MT-Megatron框架和MT-TransformerEngine框架（即将开源），实现DeepSeek V3训练流程完整复现。这一创新成果无疑将为深度学习领域带来深远影响。
DeepEP的高效优化All-to-All通信、支持MTLink+GPU（MUSA Compute Capability 3.1）节点内通信、训练及推理预填充阶段的高吞吐量计算核心、推理解码阶段的低延迟计算核心等特性，使其成为训练大模型的有力工具。同时，它还原生支持FP8数据分发，灵活控制GPU资源，实现计算与通信的高效重叠。
而DualPipe的双向流水线并行算法，通过前向与后向计算阶段的重叠，有效减少了“气泡”，进一步优化了通信效率。结合MT-Megatron框架，可以实现DeepSeek V3模型MLP-FFN的分离以及DW-DG分离，进一步提升模型的训练效率。此外，MT-DualPipe与MT-TranformerEngine和MT-DeepEP的结合，可利用MT-DeepEP和异步通信引擎实现更高效的通信掩盖，降低对计算资源损耗。
这一切都充分证明了摩尔线程在深度学习领域的领先地位和强大实力。作为一家以创新为驱动的公司，摩尔线程始终坚持将最新的科技成果应用于实际产品中，以满足不断发展的市场需求。其推出的DeepEP和DualPipe算法，无疑将为深度学习领域带来深远影响，引领并行算法的新篇章。
在未来的发展中，我们期待摩尔线程能够继续发挥其创新优势，推出更多具有影响力的科技成果，为全球开发者提供更为高效、灵活的解决方案，推动深度学习领域的发展。同时，我们也期待广大开发者能够借助摩尔线程的科技成果，创造出更多具有影响力的应用成果，共同推动科技的发展。
