“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗

6个月前 科技 32观看
摘要 英伟达刚刚从DeepSeek-R1引发的4万亿元暴跌中缓过劲来,又面临新的压力?硬件媒体Tom‘s Hardware带来开年新热议:DeepSeek甚至绕过了CUDA,使用更底层的编程语言做优化。这一次是DeepSeek-V3论文

英伟达刚刚从DeepSeek-R1引发的4万亿元暴跌中缓过劲来,又面临新的压力?v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

硬件媒体Tom‘s Hardware带来开年新热议:v8i喜好网-记录每日喜好的科技时尚娱乐生活

DeepSeek甚至绕过了CUDA,使用更底层的编程语言做优化。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

这一次是DeepSeek-V3论文中的更多细节,被人挖掘出来。v8i喜好网-记录每日喜好的科技时尚娱乐生活

来自Mirae Asset Securities Research(韩国未来资产证券)的分析称,V3的硬件效率之所以能比Meta等高出10倍,可以总结为“他们从头开始重建了一切”。v8i喜好网-记录每日喜好的科技时尚娱乐生活

在使用英伟达的H800 GPU训练DeepSeek-V3时,他们针对自己的需求把132个流式多处理器(SMs)中的20个修改成负责服务器间的通信,而不是计算任务v8i喜好网-记录每日喜好的科技时尚娱乐生活

变相绕过了硬件对通信速度的限制。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活
△ DeepSeek-V3 Technical Reportv8i喜好网-记录每日喜好的科技时尚娱乐生活

这种操作是用英伟达的PTX(Parallel Thread Execution)语言实现的,而不是CUDA。v8i喜好网-记录每日喜好的科技时尚娱乐生活

PTX在接近汇编语言的层级运行,允许进行细粒度的优化,如寄存器分配和Thread/Warp级别的调整。v8i喜好网-记录每日喜好的科技时尚娱乐生活

这种编程非常复杂且难以维护,所以行业通用的做法是使用CUDA这样的高级编程语言。v8i喜好网-记录每日喜好的科技时尚娱乐生活

换句话说,他们把优化做到了极致。v8i喜好网-记录每日喜好的科技时尚娱乐生活

有网友表示,如果有一群人嫌CUDA太慢而使用PTX,那一定是前量化交易员。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

一位亚马逊工程师提出灵魂质问:CUDA是否还是护城河?这种顶尖实验室可以有效利用任何GPU。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

甚至有网友开始畅想,如果“新源神”DeepSeek开源了一个CUDA替代方案……v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

那么事情是否真会如此?v8i喜好网-记录每日喜好的科技时尚娱乐生活

DeepSeek真的绕过了CUDA?v8i喜好网-记录每日喜好的科技时尚娱乐生活

首先要明确的是,PTX仍然是英伟达GPU架构中的技术,它是CUDA编程模型中的中间表示,用于连接CUDA高级语言代码和GPU底层硬件指令。v8i喜好网-记录每日喜好的科技时尚娱乐生活

PTX类似汇编语言,代码大概长这样:v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活
△来自tinkerd.netv8i喜好网-记录每日喜好的科技时尚娱乐生活

在实际编译流程中,CUDA代码首先被编译为PTX代码,PTX代码再被编译为目标GPU架构的机器码(SASS,Streaming ASSembler)。v8i喜好网-记录每日喜好的科技时尚娱乐生活

CUDA起到了提供高级编程接口和工具链的作用,可以简化开发者的工作。而PTX作为中间层,充当高级语言和底层硬件之间的桥梁。v8i喜好网-记录每日喜好的科技时尚娱乐生活

另外,这种两步编译流程也使得CUDA程序具有跨架构的兼容性和可移植性。v8i喜好网-记录每日喜好的科技时尚娱乐生活

反过来说,像DeepSeek这种直接编写PTX代码的做法,首先不仅非常复杂,也很难移植到不同型号的GPU。v8i喜好网-记录每日喜好的科技时尚娱乐生活

有从业者表示,针对H100优化的代码迁移到其他型号上可能效果打折扣,也可能根本不工作了。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

所以说,DeepSeek做了PTX级别的优化不意味着完全脱离了CUDA生态,但确实代表他们有优化其他GPU的能力。v8i喜好网-记录每日喜好的科技时尚娱乐生活

事实上,我们也能看到DeekSeek已经与AMD、华为等团队紧密合作,第一时间提供了对其他硬件生态的支持。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

One More Thingv8i喜好网-记录每日喜好的科技时尚娱乐生活

还有人提出,如此一来,让AI擅长编写汇编语言是AI自我改进的一个方向。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

我们不知道DeepSeek内部是否使用AI辅助编写了PTX代码——v8i喜好网-记录每日喜好的科技时尚娱乐生活

但是确实刚刚见证DeepSeek-R1编写的代码显著提升大模型推理框架的运行速度v8i喜好网-记录每日喜好的科技时尚娱乐生活

Llama.cpp项目中的一个新PR请求,使用SIMD指令(允许一条指令同时处理多个数据)显著提升WebAssembly在特定点积函数上的运行速度,提交者表示:v8i喜好网-记录每日喜好的科技时尚娱乐生活

这个PR中的99%的代码都是由DeekSeek-R1编写的。我唯一做的就是开发测试和编写提示(经过一些尝试和错误)。v8i喜好网-记录每日喜好的科技时尚娱乐生活

是的,这个PR旨在证明大模型现在能够编写良好的底层代码,甚至能够优化自己的代码。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

llama.cpp项目的创始人检查了这段代码后表示“比预期的更爆炸”。v8i喜好网-记录每日喜好的科技时尚娱乐生活

“DeepSeek甚至绕过了CUDA”!论文细节再引热议 工程师灵魂提问:英伟达护城河还在吗v8i喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
OPPO Reno 13 系列手机外观公布,代言人宋雨琦

OPPO Reno 13 系列手机外观公布,

11 月

11-19 117阅读
iPhone 17 Pro Max外观曝光:灵动岛变小

iPhone 17 Pro Max外观曝光:灵动

11月19日

11-19 103阅读
曝iPhone 17全系首发3nm A19系列芯片:无缘台积电2nm工艺制程

曝iPhone 17全系首发3nm A19系列

11月19日

11-19 122阅读
红魔10 Pro系列发布:骁龙8至尊版+1.5K 144Hz“悟空屏”,起售价4999元

红魔10 Pro系列发布:骁龙8至尊版+

11-19 111阅读
“至少需要招聘90名投资经理”

“至少需要招聘90名投资经理”

VC/PE

11-19 117阅读
林青霞谢娜同框, 竟是为了张杰?

林青霞谢娜同框, 竟是为了

张杰的首部舞台剧《曾经如是》正

11-19 106阅读
《芝麻胡同》郭秉惠人设崩了?她竟嫌弃起杏儿的出身

《芝麻胡同》郭秉惠人设崩

《芝麻胡同》中郭秉惠前期是一个

11-19 101阅读
长江文化艺术季闭幕式圆满落幕 平安携手金莎合唱《何以家国》

长江文化艺术季闭幕式圆满

  4日晚,长江文化艺术季闭幕式在宜昌

11-19 106阅读
「抖音城市生活节」长沙站完美收官!湘江河畔,邂逅长沙“秋·chill范儿”!

「抖音城市生活节」长沙站

摘要:「湘」聚江畔,在「湘当秋·

11-19 108阅读
郭德纲外甥大婚排场大!岳云鹏张云雷引人关注,新娘面相惹争议

郭德纲外甥大婚排场大!岳云

11月18日,德云社相声演员王九龙大婚,他

11-19 114阅读
索尼正在开发自动检测游戏BUG的AI系统:简化测试流程

索尼正在开发自动检测游戏

根据 Tech4Gamer 报道,根据索尼目前发

11-19 112阅读
帝国时代2高清版秘籍,帝国时代2高清重制版(HD版)秘籍

帝国时代2高清版秘籍,帝国

帝国时代2高清版是最近很多玩家在玩的

11-19 122阅读
卧龙苍天陨落前期快速获取情谊酒杯的技巧分享

卧龙苍天陨落前期快速获取

情谊酒杯是卧龙苍天陨落游戏里面的特殊

11-19 104阅读
原子之心剧院死者位置_剧院全部死者所在位置分享

原子之心剧院死者位置_剧

原子之心的剧院区域中一共存在7个死者,

11-19 118阅读
原神痼疾任务图文攻略|原神痼疾全流程攻略

原神痼疾任务图文攻略|原

痼疾是原神须弥地区魔神主线任务的第三

11-19 103阅读