打破AI壁垒，引领行业新风向——摩尔线程开源两大AI框架
随着科技的飞速发展，人工智能（AI）已成为推动各行各业创新的重要驱动力。摩尔线程，一家致力于构建全球领先的图形计算处理器的公司，近日宣布正式开源其两大AI框架——MT-MegatronLM和MT-TransformerEngine。这两大框架的开源，无疑将打破AI领域的壁垒，引领行业新风向。
MT-MegatronLM，这是一项面向全功能GPU的开源混合并行训练框架。它支持dense模型、多模态模型及MoE（混合专家）模型的高效训练。这项框架的开源，不仅意味着开发者们可以更便捷地利用GPU进行深度学习训练，同时也为各种模型的研发提供了强大的支持。
而MT-TransformerEngine，主要用于Transformer模型的训练与推理优化。通过算子融合、并行加速策略等技术，释放摩尔线程全功能GPU高密度计算的潜力和memory bound算子效率。这一框架的开源，无疑将推动Transformer模型的研究和应用。
这两大框架的技术突破体现在硬件适配与算法创新的深度协同。其中，混合并行训练能够支持dense、多模态及MoE模型的混合并行训练，可灵活应对不同模型架构的复杂运算场景；FP8混合训练策略结合摩尔线程GPU原生支持的FP8混合精度训练策略，能够有效提升训练效率；高性能算子库通过与muDNN与通信库MCCL的深度集成，系统性优化了计算密集型任务与多卡协同的通信开销；同时结合摩尔线程开源Simumax库，可自动进行并行策略搜索，并针对不同模型和加速环境spec最大化并行训练性能。
在实际应用中，这两大框架也取得了显著的效果。例如，在全功能GPU集群上，利用FP8混合精度加速技术，可以在loss几乎无损的情况下MFU达到90%以上，提升了训练效率；摩尔线程已深度集成并开源对DeepSeek并行算法DualPipe的高效支持，成功实现DeepSeek训练流程的完整复现；通过多种Transformer算子融合技术，显著提升了内存带宽利用率，进一步释放了国产GPU的硬件潜力。
摩尔线程官方表示，将持续优化MT-MegatronLM与MT-TransformerEngine框架，并引入一系列新功能。其中包括Dual Pipe/ZeroBubble并行策略，以进一步降低气泡率，提升并行训练效率；多种FP8优化策略，以提高训练的性能和稳定性；异步checkpoint策略，以提高训练过程中的容错能力和效率；优化后的重计算策略，减少计算和显存开销，提高训练速度；以及独创的容错训练算法，增强训练过程中的容错能力。此外，还计划进一步集成摩尔线程的FlashMLA和DeepGemm库，以进一步释放摩尔线程GPU的算力和FP8计算能力，提升计算性能和效率。
总的来说，摩尔线程开源两大AI框架，不仅打破了AI领域的壁垒，也展现了其在AI领域的强大实力和技术创新。我们期待在未来的发展中，摩尔线程能够继续发挥其技术优势，引领行业新风向，为全球的开发者们提供更强大、更便捷的AI工具和服务。
