DeepSeek 5大突破！高性能并行文件系统3FS实现6.6 TiB/s聚合吞吐量
在IT之家的报道中，我们欣然获悉DeepSeek在开源周的第五天发布了其最新的并行文件系统——3FS。这款专为充分利用现代 SSD 和 RDMA 网络带宽而设计的系统，无疑为深度学习等数据密集型应用提供了强大的支持。在此，我们将深入探讨3FS的性能亮点和应用场景，并以此为中心，撰写一篇文章。
首先，让我们关注3FS的性能亮点。据报道，在180节点集群中，3FS实现了高达6.6 TiB/s的聚合读取吞吐量。这一数字无疑令人印象深刻，表明了其在高吞吐量场景中的卓越表现。此外，在25节点集群的GraySort基准测试中，3FS达到了3.66 TiB/min的吞吐量，这进一步证明了其在基准测试中的优异表现。更值得一提的是，每个客户端节点的KVCache查找峰值吞吐量超过40 GiB/s，这进一步突显了其在单个节点的高性能。
在应用场景方面，3FS（Fire-Flyer File System）是一款高性能的分布式文件系统，旨在解决AI训练和推理工作负载带来的挑战。其核心优势在于高性能、强一致性和易用性，能够有效支持各种AI工作负载，包括数据准备、数据加载、检查点设置和推理缓存。在DeepSeek的应用中，涵盖了训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索以及推理过程中的关键环节。
除此之外，DeepSeek还开源了基于3FS的数据处理框架Smallpond。Smallpond是一款轻量级数据处理框架，构建于DuckDB和3FS之上，拥有高性能数据处理能力，可扩展至PB级数据集，并且操作简便，无需长期运行的服务。
DeepSeek的开源进度可谓是一波未平，一波又起。在过去的几个月里，他们已经取得了令人瞩目的成就。从DualPipe、EPLB优化并行策略，到DeepGEMM深度学习利器，再到DeepEP首个用于MoE模型训练和推理的EP通信库，以及FlashMLA为Hopper GPU优化的高效MLA解码内核，都展示了DeepSeek在深度学习领域的深厚实力。
现在，我们迎来了DeepSeek的5/5大突破！在这个关键时刻，我们迎来了高性能并行文件系统3FS实现6.6 TiB/s聚合吞吐量的消息。这一消息无疑将为整个行业带来新的篇章。
DeepSeek发布的3FS是一个专为充分利用现代 SSD 和 RDMA 网络带宽而设计的并行文件系统，具备惊人的数据访问性能。其集群高吞吐、基准测试优异、单节点高性能以及架构先进等特性使其成为深度学习等数据密集型应用的有力支持。同时，Smallpond作为基于3FS的数据处理框架，以其高性能和易用性，能够有效地支持各种AI工作负载。
展望未来，DeepSeek的这一重大突破将有望推动深度学习领域的发展，为其带来更为高效和可靠的数据处理解决方案。我们期待看到DeepSeek在接下来的日子里继续为行业带来更多的创新和突破。
