国产显卡动作神速!摩尔线程官宣成功实现对DeepSeek开源的全面支持

2个月前 游戏 14观看
摘要 根据快科技的消息称,日前摩尔线程宣布,随着DeepSeek开源周收官,摩尔线程在短时间内,成功实现对DeepSeek各个开源项目的全面支持,涵盖FlashMLA、DeepEP、DeepGEMM、

根据快科技的消息称,日前摩尔线程宣布,随着DeepSeek开源周收官,摩尔线程在短时间内,成功实现对DeepSeek各个开源项目的全面支持,涵盖FlashMLA、DeepEP、DeepGEMM、DualPipe 以及 Fire-Flyer文件系统(3FS)。

TpS喜好网-记录每日喜好的科技时尚娱乐生活

TpS喜好网-记录每日喜好的科技时尚娱乐生活

摩尔线程表示,这一成果充分验证了MUSA架构和全功能GPU在生态兼容与快速适配方面的强大优势!

TpS喜好网-记录每日喜好的科技时尚娱乐生活

TpS喜好网-记录每日喜好的科技时尚娱乐生活

以下是摩尔线程支持DeepSeek开源周“全家桶”代码合集:TpS喜好网-记录每日喜好的科技时尚娱乐生活

FlashMLA:TpS喜好网-记录每日喜好的科技时尚娱乐生活

FlashMLA是一款高效的MLA(Multi-Head Latent Attention)推理内核开源仓库,旨在加速MLA机制的计算,特别适用于DeepSeek系列模型(如DeepSeek-V2、V3和R1)。TpS喜好网-记录每日喜好的科技时尚娱乐生活

摩尔线程基于全新MUSA Compute Capability 3.1计算架构,可提供原生FP8计算能力,同时升级了高性能线性代数模板库MUTLASS,快速支持了FlashMLA。TpS喜好网-记录每日喜好的科技时尚娱乐生活

借助MUTLASS 0.2.0,摩尔线程发布开源仓库MT-FlashMLA,能够快速对DeepSeek FlashMLA进行兼容部署。TpS喜好网-记录每日喜好的科技时尚娱乐生活

MT-FlashMLA开源地址:TpS喜好网-记录每日喜好的科技时尚娱乐生活

https://github.com/MooreThreads/MT-flashMLATpS喜好网-记录每日喜好的科技时尚娱乐生活

MUTLASS FlashAttention3地址:TpS喜好网-记录每日喜好的科技时尚娱乐生活

https://github.com/MooreThreads/mutlass/tree/main/experimental/mp31_flash_attention_fwdTpS喜好网-记录每日喜好的科技时尚娱乐生活

DeepEP:TpS喜好网-记录每日喜好的科技时尚娱乐生活

DeepEP是一个用于MoE(混合专家)模型训练和推理的开源EP(expert parallelism,专家并行)通信库,主要适用于大模型训练,特别是需要EP的集群训练。TpS喜好网-记录每日喜好的科技时尚娱乐生活

它通过优化通信信道的使用率,显著提升了训练效率。摩尔线程基于MUSA Compute Capability 3.1全功能GPU,第一时间适配了DeepEP。TpS喜好网-记录每日喜好的科技时尚娱乐生活

MT-DeepEP开源地址:TpS喜好网-记录每日喜好的科技时尚娱乐生活

https://github.com/MooreThreads/MT-DeepEPTpS喜好网-记录每日喜好的科技时尚娱乐生活

DeepGEMM:TpS喜好网-记录每日喜好的科技时尚娱乐生活

DeepGEMM是一个支持密集矩阵与混合专家(MoE)矩阵乘法的FP8 GEMM库,为V3/R1的训练与推理提供强大动力。TpS喜好网-记录每日喜好的科技时尚娱乐生活

这个开源仓库基于高性能通用矩阵乘法(GEMM)的C++模板库进行开发,摩尔线程基于MUTLASS在全新GPU架构上优化实现了FP8矩阵乘法,支持DeepGEMM的相应功能。TpS喜好网-记录每日喜好的科技时尚娱乐生活

MUTLASS FP8 GEMM地址:TpS喜好网-记录每日喜好的科技时尚娱乐生活

https://github.com/MooreThreads/mutlass/tree/main/examples/02_mp31_fp8_gemm_with_collective_builderTpS喜好网-记录每日喜好的科技时尚娱乐生活

https://github.com/MooreThreads/mutlass/tree/main/examples/03_mp31_fp8_scaling_gemmTpS喜好网-记录每日喜好的科技时尚娱乐生活

DualPipe:TpS喜好网-记录每日喜好的科技时尚娱乐生活

DualPipe是DeepSeek-V3提出的双向流水线并行算法,通过前向计算与后向计算阶段的计算与通信完全重叠,显著减少了“流水线气泡”(设备空闲等待)。TpS喜好网-记录每日喜好的科技时尚娱乐生活

与传统流水线并行相比,DualPipe 采用双向数据流设计,使数据从两端相向处理,大幅提升了资源利用率与训练效率。 TpS喜好网-记录每日喜好的科技时尚娱乐生活

摩尔线程依托深度学习框架Torch-MUSA(已开源)和MUSA软件栈全方位的兼容性,实现了对DualPipe这一算法的高效支持。TpS喜好网-记录每日喜好的科技时尚娱乐生活

MT-DualPipe可以完整接入摩尔线程 MT-Megatron框架和MT-TransformerEngine框架(即将开源),实现DeepSeek V3训练流程的完整复现。TpS喜好网-记录每日喜好的科技时尚娱乐生活

MT-DualPipe开源地址:TpS喜好网-记录每日喜好的科技时尚娱乐生活

https://github.com/MooreThreads/MT-DualPipeTpS喜好网-记录每日喜好的科技时尚娱乐生活

Torch-MUSA开源地址:TpS喜好网-记录每日喜好的科技时尚娱乐生活

https://github.com/MooreThreads/Torch_MUSATpS喜好网-记录每日喜好的科技时尚娱乐生活

3FS:TpS喜好网-记录每日喜好的科技时尚娱乐生活

Fire-Flyer文件系统(3FS)是一种利用现代SSD和RDMA网络的全部带宽的并行文件系统,可以把固态硬盘的带宽性能利用到极致。TpS喜好网-记录每日喜好的科技时尚娱乐生活

摩尔线程在一天内完成了高性能分布式文件系统3FS的搭建,并高效开发了存储插件,成功实现与夸娥智算集群的无缝集成,为AI训练、AI推理、科学计算等场景提供全栈存储加速方案。TpS喜好网-记录每日喜好的科技时尚娱乐生活

3FS CSI Driver地址:TpS喜好网-记录每日喜好的科技时尚娱乐生活

https://github.com/MooreThreads/csi-driver-3fsTpS喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
TGA:DLC、拓展包、新赛季、重制版等均可提名所有奖项

TGA:DLC、拓展包、新赛季、

今日(11月16日),TGA主创Geoff Keighley与

11-19 73阅读
保卫萝卜4太空穿越4关通关攻略

保卫萝卜4太空穿越4关通关

保卫萝卜4是最新发布的游戏,相信喜欢保

11-19 67阅读
元气骑士前传兑换码2024_元气骑士前传新手礼包码

元气骑士前传兑换码2024_

最近元气骑士前传这款游戏十分火爆,那么

11-19 64阅读
饥荒蜘蛛网超详细获取方法分享

饥荒蜘蛛网超详细获取方法

蜘蛛网是饥荒游戏里面的一个常用材料,有

11-19 69阅读
饥荒存档在哪个文件夹?饥荒存档位置一览

饥荒存档在哪个文件夹?饥

饥荒存档在哪个文件夹?饥荒游戏里面玩家

11-19 164阅读
环保产业如何实现高质量发展?智能化与绿色转型是关键

环保产业如何实现高质量发

4月29日,由广东

05-03 17阅读
第17届大广赛广东赛区名家名师校园创意巡讲进广财

第17届大广赛广东赛区名家

4月28日,第17届

05-03 20阅读
“组团退演出服”:市场经济诚信原则需全社会维护

“组团退演出服”:市场经济

近日,辽宁沈阳一

05-09 16阅读
ESI最新数据揭晓:中国学术实力领跑,广东高校多点突破

ESI最新数据揭晓:中国学术

5月8日,科睿唯安

05-11 15阅读
黄晓明、金世佳上戏考博进复试

黄晓明、金世佳上戏考博进

据媒体消息,5月1

05-13 17阅读
2024广州车展,全新智己LS6、智己L6大进化!锁定“20万元级纯电最优选”

2024广州车展,全新智己LS6

今日,智己汽车携两款“超级爆品”-

11-19 66阅读
港股要闻 | 小米三季度收入高达925亿,阿里巴巴拟发行票据筹集资金

港股要闻 | 小米三季度收

11月18日,恒生指数以0.77%的涨幅结

11-19 72阅读
助力中西部电子信息产业发展,尽在2025武汉国际半导体产业与电子技术博览会(OVC)

助力中西部电子信息产业发

半导体是持续支撑起中国科技创新发

11-19 66阅读
二手车有必要查维保记录吗?二手车怎么 查询维保记录?

二手车有必要查维保记录吗

在二手车交易过程中,除了核实车主身

11-19 68阅读
为什么购车前要查询公里数?查询车辆公里数步骤有哪些?

为什么购车前要查询公里数

购车前查询公里数很重要。公里数能

11-19 71阅读