Quobyte发布MLPerf存储基准测试成绩挑战存储系统极限

1个月前 科技 8观看
摘要 Quobyte公司首次公开发布了其在同名并行文件系统上运行MLPerf存储基准测试的结果,声称在关键的3D-Unet基准测试中取得了显著优势。该基准测试是ML Commons去年首次推出的三项测试之一,用于衡量

Quobyte公司首次公开发布了其在同名并行文件系统上运行MLPerf存储基准测试的结果,声称在关键的3D-Unet基准测试中取得了显著优势。766喜好网-记录每日喜好的科技时尚娱乐生活

该基准测试是ML Commons去年首次推出的三项测试之一,用于衡量存储系统在模型训练期间的数据供应能力。766喜好网-记录每日喜好的科技时尚娱乐生活

毫无疑问,这是确保昂贵且耗电的GPU得到充分利用的关键因素——目前GPU的利用率很少接近理想水平。766喜好网-记录每日喜好的科技时尚娱乐生活

Quobyte表示:"在三个基准测试中,3D U-Net特别有趣,因为它最依赖于存储性能。"766喜好网-记录每日喜好的科技时尚娱乐生活

正如Quobyte联合创始人兼首席执行官Bjorn Kolbeck所说,这是真正"考验和折磨存储系统"的测试。766喜好网-记录每日喜好的科技时尚娱乐生活

Quobyte指出,要通过测试,"MLPerf存储要求利用率达到90%或以上。利用率直接转化为特定的吞吐量,因为它决定了工作负载发出IO请求的速度。"766喜好网-记录每日喜好的科技时尚娱乐生活

"目标是以最少的存储资源集合(因为它们需要金钱、占地面积和能源)支持每个客户端8个GPU在高利用率(90%以上)下运行,"该公司补充道。766喜好网-记录每日喜好的科技时尚娱乐生活

对于3D U-Net,"每个全速运行的模拟H100 GPU需要大约2.8 GBps的吞吐量。使用DGX的200G网络,这意味着最多只能保持7个GPU在90%以上的利用率。"766喜好网-记录每日喜好的科技时尚娱乐生活

测试配置如何?766喜好网-记录每日喜好的科技时尚娱乐生活

Quobyte的设置是一个八节点集群,通过2x100G RoCE网络连接,包含四台客户端机器(Supermicro)和四台服务器机器(Supermicro),每台配备4个PCI 4.0 NVM。766喜好网-记录每日喜好的科技时尚娱乐生活

对于MLPerf存储v1.0.1版本,使用H100,Quobyte表示能够支持"每个客户端(每个DGX)6个GPU在90%效率下运行"。该公司的目标是通过配备更快CPU的客户端机器,将这一数字提升到7个GPU,并实现更高的利用率。766喜好网-记录每日喜好的科技时尚娱乐生活

"在服务器端,我们通过四台通过200G RoCE连接的标准服务器提供这种性能。这种设置提供高可用性,并可以与更多DGX客户端线性扩展。"766喜好网-记录每日喜好的科技时尚娱乐生活

Quobyte声称这使其成为MLPerf 3D-Unet测试中最快、最高效的文件系统,支持每台客户端机器最多的GPU数量。同样重要的是,该公司还声称实现了每性能单位最低的成本和能耗。766喜好网-记录每日喜好的科技时尚娱乐生活

联合创始人兼首席技术官Felix Hupfeld说:"我们的不同之处在于在另一端需要多少资源来提供这种性能。饱和GPU所需的资源会转化为更多功耗、更多占地面积,当然还有更多成本。"766喜好网-记录每日喜好的科技时尚娱乐生活

虽然英伟达在AI世界中备受关注,但Kolbeck表示存储至关重要,而基于NFS的系统从未为扩展而设计。766喜好网-记录每日喜好的科技时尚娱乐生活

他继续说道,选择错误的系统,"你就无法获得GPU所需的效率,然后你就被这个解决方案困住了。"766喜好网-记录每日喜好的科技时尚娱乐生活

"你在存储系统上花费数百万美元,却无法提供GPU所需的性能,基本上毁掉了GPU投资。"766喜好网-记录每日喜好的科技时尚娱乐生活

MLPerf存储基准测试的新版本即将发布。虽然Quobyte没有参与去年的"官方"提交轮次,但该公司表示这次完全打算参与。766喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
智己汽车携手Momenta联合打造“一段式端到端直觉智驾大模型”

智己汽车携手Momenta联合打造“

【锋巢网】10月28日,在品牌智能驾

11-19 120阅读
比亚迪造出的第一款实车“316”亮相,王传福称第二天就砍掉了

比亚迪造出的第一款实车“316”

11 月

11-19 122阅读
超204万人预约华为Mate 70:纯血鸿蒙+麒麟芯自研完全体来了

超204万人预约华为Mate 70:纯血鸿

11月19日

11-19 131阅读
高端餐饮的苦日子还在后头

高端餐饮的苦日子还在后头

近日,

11-19 120阅读
川普赢了,马斯克能当上 AI 部部长吗?

川普赢了,马斯克能当上 AI 部部长

图片来源:由无界AI生成2018 年,扎

11-19 108阅读
被审判的麦琳和妖魔化的小红书

被审判的麦琳和妖魔化的小

作者 / 张   特编辑 / 朱   婷运

11-19 104阅读
高基才个人资料, 深扒小鲜肉高基才家庭背景

高基才个人资料, 深扒小鲜

电视剧《一夜新娘》正在热播中,剧

11-19 99阅读
人民日报评代拍乱象, 代拍为何惹众怒?

人民日报评代拍乱象, 代拍

近期除了家暴一词被大家热议,代拍

11-19 106阅读
林青霞谢娜同框, 竟是为了张杰?

林青霞谢娜同框, 竟是为了

张杰的首部舞台剧《曾经如是》正

11-19 103阅读
爱尔兰移民项目身 光环 太多,一份投资,三大收获,四重身份(爱尔兰移民项目身)

爱尔兰移民项目身 光环 太

其实自英国脱欧以来,获得爱尔兰公

11-19 119阅读
万代魂系高端钢普拉大展 解体匠机第三弹高达Mk-II再参展

万代魂系高端钢普拉大展

万代高端模玩魂系列展会《TAMASHII NA

11-19 117阅读
redhat安装教程,虚拟机红帽子linux安装教程(保姆级)

redhat安装教程,虚拟机红

redhat是一款非常棒的操作系统,想要学习

11-19 111阅读
空洞骑士苍白矿石位置_空洞骑士苍白矿石所有位置(图片)

空洞骑士苍白矿石位置_空

《空洞骑士》是一款以探索和解谜为核心

11-19 108阅读
博德之门3怎么装MOD?手把手教你博德之门3MOD安装方法

博德之门3怎么装MOD?手把

博德之门3怎么装MOD?博德之门3游戏是支

11-19 130阅读
饥荒石头怎么大量获得?饥荒快速获得大量石头的技巧分享

饥荒石头怎么大量获得?饥

饥荒石头怎么大量获得?石头是饥荒游戏里

11-19 112阅读