GenAI 时代的计算引擎策略

2个月前 科技 17观看
摘要 赞助文章 尽管生成式 AI 和 GPU 加速 AI 训练与推理已经席卷全球,但全球数据中心仍然需要认真考虑 CPU 的问题。首先,在大多数公司中,有数百到数千个后台工作负载在支撑业务运营,这些负载有时还

赞助文章 尽管生成式 AI 和 GPU 加速 AI 训练与推理已经席卷全球,但全球数据中心仍然需要认真考虑 CPU 的问题。6m5喜好网-记录每日喜好的科技时尚娱乐生活

首先,在大多数公司中,有数百到数千个后台工作负载在支撑业务运营,这些负载有时还需要关系型数据库的支持。毫无疑问,维护这些设备至关重要。6m5喜好网-记录每日喜好的科技时尚娱乐生活

同时,对这些设备进行现代化改造也是一种方式,可以帮助支付未来几年在 AI 基础设施方面的巨额投资,无论公司是购买训练好的模型还是自行创建。无论如何,GenAI 都将是一项昂贵的投资,而通过降低通用服务器机群的成本,不仅可以减少这部分传统服务器机群的电力和冷却支出,还能同时提升其性能。6m5喜好网-记录每日喜好的科技时尚娱乐生活

此外,配备大量核心、强大 I/O 和内存带宽的现代处理器,也是提高昂贵 AI 服务器机群投资回报的一种方式。根据 AMD 在配备八个 GPU 的服务器节点上进行的基准测试,像 "Turin" AMD Epyc 9575F 这样的高速 CPU 可以将 AI 推理性能提升高达 8%,AI 训练性能提升高达 20%。考虑到 GPU 的高昂成本,这种性能提升带来的收益远远超过了在 AI 主机上购买更快 CPU 所需的增量成本。6m5喜好网-记录每日喜好的科技时尚娱乐生活

最后,在许多情况下,直接在 CPU 上运行 AI 算法是有意义的,因为现今的 CPU 完全有能力执行 AI 推理和轻量级 AI 训练所需的向量运算。因此,即使是在通用服务器机群中,拥有高性能 CPU 也很重要。6m5喜好网-记录每日喜好的科技时尚娱乐生活

我们就这些问题与 AMD 服务器解决方案部门的公司副总裁 Madhu Rangarajan 进行了讨论,他负责产品管理、规划和营销工作。我们还探讨了一个观点:现在比以往任何时候都更需要考虑在数据中心部署单插槽服务器,摆脱传统的双插槽服务器思维。6m5喜好网-记录每日喜好的科技时尚娱乐生活

如需了解更多关于 AMD 更新数据中心服务器机群的战略,请观看上方视频。6m5喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
星驿付与慧徕店亮相金融界“奥运会”—Sibos2024年会,与国际金融大咖齐聚北京,共话全球金融发展

星驿付与慧徕店亮相金融界“奥运

【锋巢网】导读:10月21日至24日,

11-19 61阅读
小米第三季度研发费用60亿 雷军:小米坚持技术为本的铁律

小米第三季度研发费用60亿 雷军:

11月19日

11-19 63阅读
比亚迪造出的第一款实车“316”亮相,王传福称第二天就砍掉了

比亚迪造出的第一款实车“316”

11 月

11-19 66阅读
小米汽车发布智能底盘预研技术,实现多种高难度动作‌

小米汽车发布智能底盘预研技术,实

11-19 65阅读
李子柒复更,三大平台提前过年

李子柒复更,三大平台提前过年

停更1

11-19 63阅读
长安十二时辰龙波是好是坏 龙波扮演者是谁资料作品介绍(长安十二时辰龙波是好是坏)

长安十二时辰龙波是好是坏

《长安十二时辰》这部剧正在热播,在

11-19 65阅读
戈壁和江百丽结局,男方不爱女方,女生到最后一无所有

戈壁和江百丽结局,男方不爱

《暗恋橘生淮南》中江百丽和戈壁

11-19 155阅读
我们都在等待,等待钟声响起的那一刻。那是我生命最后的一刻,那也是最好的时刻

我们都在等待,等待钟声响起

  一段民族不可遗忘的历史,一个隐蔽

11-19 55阅读
文化输出第一人!网红博主李子柒回归 时隔三年更新视频

文化输出第一人!网红博主李

11月12日消息,今

11-19 61阅读
要钱干嘛!比尔盖茨支持对富豪加税:我愿放弃62%的财富

要钱干嘛!比尔盖茨支持对富

11月11日消息,据

11-19 66阅读
PS5 Pro在美国的首发销量与PS4 Pro相近

PS5 Pro在美国的首发销量

PS5 Pro 于本月早些时候发行,虽然这款

11-19 70阅读
英国独立游戏展会WASD宣布无力维持 将永久停办

英国独立游戏展会WASD宣布

由于举办英国游戏行业展会WASD的公司

11-19 74阅读
卧龙苍天陨落怎么提升武将好感度?提升武将好感度的方法分享

卧龙苍天陨落怎么提升武将

卧龙苍天陨落怎么提升武将好感度?在卧龙

11-19 66阅读
原子之心全部圆盘锁开锁方法详细介绍

原子之心全部圆盘锁开锁方

圆盘锁是原子之心游戏里面的一种特殊加

11-19 65阅读
原神失物匿于繁华任务怎么做|失物匿于繁华任务攻略

原神失物匿于繁华任务怎么

失物匿于繁华是原神须弥地区魔神主线任

11-19 62阅读