揭秘DeepGEMM：深度学习利器的新篇章
在当今的深度学习领域，高效的矩阵乘法（GEMM）对于模型训练和推理至关重要。近日，DeepSeek“开源周”的进度来到了3/5，推出了一款名为DeepGEMM的全新FP8 GEMM库，旨在为高效且清晰的FP8通用矩阵乘法提供支持。DeepGEMM基于精细化缩放能力，支持普通的GEMM以及MoE分组GEMM，其在Hopper GPU上的性能表现尤为引人瞩目。
DeepGEMM是一款专为高效且清晰的FP8通用矩阵乘法设计的库，具备DeepSeek-V3所提出的精细化缩放能力。它不仅支持普通的GEMM，还支持Mix-of-Experts（MoE）分组GEMM，这为模型训练和推理提供了更大的灵活性。
DeepGEMM的设计简洁，核心内核函数只有大约300行代码，方便学习Hopper FP8矩阵乘法和优化技术。尽管采用轻量设计，DeepGEMM在多种矩阵形状下的性能表现与专家优化的库相当，甚至更好。这充分证明了其高效性和灵活性。
值得注意的是，DeepGEMM不仅支持稠密布局，还支持两种MoE布局。这使得它能够适应不同的应用场景，满足不同的需求。无复杂依赖、代码简洁如教程以及完全采用即时编译技术（Just-In-Time）等特点，使其在大多数矩阵尺寸下超越了专家优化的内核。
DeepGEMM基于CUDA编写，在安装时无需预编译，而是通过轻量级的即时编译（JIT）模块，在运行时动态编译所有内核。这种设计使得DeepGEMM能够充分利用GPU的并行计算能力，提高运行效率。
目前，DeepGEMM仅支持NVIDIA Hopper Tensor核心。为了应对FP8 Tensor核心累加不精确的问题，它使用了CUDA核心的两级累加（提升）方法。这种技术能够有效地解决累加不精确的问题，提高计算精度。
DeepGEMM的出现，无疑为深度学习领域带来了新的机遇和挑战。作为一款深度学习利器，它开启了开源新篇章，为探索深度学习未来提供了新的可能。
DeepGEMM在各种矩阵形状下的性能表现令人瞩目，尤其是在H800上的测试中，使用NVCC 12.8测试了DeepSeek-V3/R1推理中可能用到的各种矩阵形状（包括预填充和解码，但不涉及张量并行）。所有加速指标都是相对于我们内部精心优化的CUTLASS 3.6实现计算的。这表明DeepGEMM具有出色的性能和效率。
尽管DeepGEMM在某些矩阵形状下的表现不尽如人意，但我们相信这只是暂时的。我们欢迎有兴趣的朋友提交优化PR，共同完善这款深度学习利器。通过开源的方式，我们希望能够汇聚更多的力量，共同推动深度学习领域的发展。
总的来说，DeepGEMM的推出是深度学习领域的一次重大突破。它以其高效、灵活、简洁的设计，为深度学习模型训练和推理提供了新的可能。作为一款深度学习利器，DeepGEMM开启了开源新篇章，让我们共同期待它为深度学习未来带来的更多可能性。
