数据信手拈来,让Meta都称赞的AI存储新标杆 原创

5个月前 科技 25观看
摘要 在耀眼科技突破的背后,往往隐藏着不为人知的创新推手。当全球为Meta的Llama3模型惊叹时,很少有人注意到支撑这场AI革命的"无名英雄"——Hammerspace。Meta首席工程师称:“Hammerspace

在耀眼科技突破的背后,往往隐藏着不为人知的创新推手。CjR喜好网-记录每日喜好的科技时尚娱乐生活

当全球为Meta的Llama3模型惊叹时,很少有人注意到支撑这场AI革命的"无名英雄"——Hammerspace。Meta首席工程师称:“Hammerspace能做到的简直就是魔法。”因为其可以让数据实现随处访问,大幅提升GPU利用率,在业界可以说独步天下。CjR喜好网-记录每日喜好的科技时尚娱乐生活

“Hammerspace”名字的含义是一个可以即时进入,且大小无限的超维空间。这个名字源于漫画术语,就像漫画角色能凭空取出任意物品,无论大小。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace董事总经理Molly Presley说,Hammerspace做的就是你想从系统中拿到什么样的数据,都可以瞬间获得。CjR喜好网-记录每日喜好的科技时尚娱乐生活

以数据为中心的全新存储架构来了CjR喜好网-记录每日喜好的科技时尚娱乐生活

传统的数据存储和使用方式以存储系统为中心,这种架构也导致了非结构化数据形成孤岛,对各个系统的性能造成一定限制。而且在云端数据涌入后,企业面临着缺乏云敏捷性的挑战,往往需要依赖繁琐的人工操作来管理数据。CjR喜好网-记录每日喜好的科技时尚娱乐生活

行业迫切需要一种全新的存储架构!CjR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace则突破了这一限制,以数据为中心,实现数据的全局访问。比如在大模型训练场景能够从各处抽取训练所需的数据,并无缝延伸到云端,通过各种自动化数据编排工具,用户可以更快、更高效地完成数据的访问和编排。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Molly Presley强调,现在AI训练所需的数据量已远超过去二三十年积累的数据总量,并且训练需要高质量、独立且多样化的数据输入,Hammerspace为AI训练提供了前所未有的数据优化解决方案。CjR喜好网-记录每日喜好的科技时尚娱乐生活

自2018年成立以来,Hammerspace的发展一直在加速,2021年推出首款产品,2023年已成功应用于Meta、Los Alamos国家实验室等复杂的大规模环境。2024年,公司业务实现了十倍增长,并于2025年正式进军亚太市场。CjR喜好网-记录每日喜好的科技时尚娱乐生活

最近,Hammerspace与北京驿心科技有限公司(Yition.ai)达成战略合作。合作将 Hammerspace 成熟的高性能全局数据平台(对象与文件存储)与驿心科技降低 AI 存储成本、提升易用性的目标相结合,共同为云服务、高性能计算以及超大规模云服务提供商应对 AI 产生的海量非结构化数据,提供全新的存储与数据编排解决方案。CjR喜好网-记录每日喜好的科技时尚娱乐生活

AI存储、混合云与数据管理的全能选手CjR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace正在为AI时代的高性能存储树立新标杆。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Meta的Llama 2和Llama 3的模型训练使用了3000台GPU服务器、24000块GPU、1000节点存储集群,达到了12.5 TB/秒聚合吞吐量。在这个规模空前的AI训练系统中,Meta面临着一个关键挑战:如何在不破坏现有技术架构的同时,实现存储资源的即插即用,将GPU利用率推向100%。Meta最终选择了完全基于标准协议的框架设计的Hammerspace解决方案。CjR喜好网-记录每日喜好的科技时尚娱乐生活

而在Llama 4的训练架构中,Meta依然追求极致性能和GPU利用率这一宗旨,并加入了能源效率的考量维度。Hammerspace使Meta能够在能源成本最优的情况下,进行大规模数据训练,无需进行跨地域的数据迁移。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace打造了一个适用于GPU计算场景的全新NAS架构,打破了传统NAS集群无法提供的线性性能扩展的问题,基于标准协议实现的HPC级性能线性扩展,通过软件定义实现数据与硬件的解耦。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace的解决方案适用于AI/HPC场景下的高性能存储、多站点与混合云环境、数据的生命周期管理三个场景。CjR喜好网-记录每日喜好的科技时尚娱乐生活

AI/HPC场景下的高性能存储:无论是传统存储架构还是DeepSeek最新推出的3FS存储系统,都可以实现跨存储系统的无缝数据抽取,并供给GPU训练,这不仅打破了数据孤岛的桎梏,更将数据到价值的转化效率提升至新的高度。CjR喜好网-记录每日喜好的科技时尚娱乐生活

多站点与混合云环境:真正做到了数据协同作业,无论数据存储在公有云、私有云还是本地,上层应用都可以从全局无缝访问所有数据资源,无需考虑数据的具体位置或状态。CjR喜好网-记录每日喜好的科技时尚娱乐生活

数据的生命周期管理:能够完全实现自动化的数据管理需求,无论是数据保护、数据分层、数据迁移、数据管理、数据治理都可以在Hammerspace上完成。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Tier 0让真正意义的全局数据平台成为可能CjR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace还在最近推出了最新的Tier 0解决方案,可以充分利用每一台GPU服务器闲置的本地硬盘作为Tier 0存储层,显著提升了CheckPoint的效率。在大规模GPU服务器集群中,Tier 0技术将所有本地硬盘整合为一个全局命名空间的第0层,从而大幅提升读写性能,且无需额外成本。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Tier 0技术重新定义了GPU架构体系,显著降低了硬件投资和能源消耗,减少了GPU闲置时间,加速了设备价值的实现。通过Tier 0技术,Hammerspace构建了一个真正的全局数据平台,使数据根据指定的策略在其生命周期内放在合理的位置,从闪存到磁带,全面优化存储效率。CjR喜好网-记录每日喜好的科技时尚娱乐生活

数据信手拈来,让Meta都称赞的AI存储新标杆CjR喜好网-记录每日喜好的科技时尚娱乐生活

“Tier 0技术的诞生源于对GPU客户服务器本地盘长期闲置现象的洞察。”Molly Presley说道。Hammerspace的Tier 0解决方案成功解决了本地盘孤立和数据安全的问题,使客户无需额外投资外部存储,即可实现极高的数据吞吐量。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Tier 0技术的效果也是立竿见影。以10 PB数据量环境为例,可节省300万至400万美元的外部闪存存储硬件成本、三年内能源成本节省约50万美元,能源消耗减少约300万度电、节省3至5个数据中心机架空间。CjR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace正在引领数据管理的未来,为企业提供高效、经济且可持续的存储解决方案。终极愿景是打破数据边界,无论是边缘、异地数据中心,还是云端,真正让数据实时访问,随需而动。CjR喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
星驿付与慧徕店亮相金融界“奥运会”—Sibos2024年会,与国际金融大咖齐聚北京,共话全球金融发展

星驿付与慧徕店亮相金融界“奥运

【锋巢网】导读:10月21日至24日,

11-19 106阅读
明星为何争做探店顶流?

明星为何争做探店顶流?

采写/陈纪英编辑/万天南明星的尽头

11-19 138阅读
‌比亚迪天津“迪空间”试营业,预计12月正式开放‌

‌比亚迪天津“迪空间”试营业,预

11-19 104阅读
徐工集团CVC基金备案成功

徐工集团CVC基金备案成功

2024

11-19 110阅读
刚刚,OpenAI发布Windows版ChatGPT,高级语音能用了

刚刚,OpenAI发布Windows版ChatGPT

图片来源:由无界AI生成今天凌晨2

11-19 119阅读
余凯宁个人资料, 余凯宁原名余天翊

余凯宁个人资料, 余凯宁原

余凯宁,原名余天翊,演员。1994年9月

11-19 124阅读
中国世界电影学会|2024·法国优秀影片展映圆满落幕

中国世界电影学会|2024·法

  由中国世界电影学会、中国文联电

11-19 105阅读
中国电影出海专业书刊《走向世界:华语电影的跨国流通与市场策略》正式发布

中国电影出海专业书刊《走

  在首届广州电影产业博览交易会上

11-19 120阅读
2024东方卫视跨年首发阵容,胡歌唐嫣代表《繁花》剧组亮相

2024东方卫视跨年首发阵容

12月25日,2024东方卫视跨年首发阵

11-19 106阅读
郭晶晶霍启刚夫妇合体跑马拉松 结束后匆匆离去直言要回家带小孩

郭晶晶霍启刚夫妇合体跑马

11月17日,香港媒体报道,郭晶晶霍启刚

11-19 119阅读
和平精英国际服怎么选择国家?和平精英国际服改国籍方法

和平精英国际服怎么选择国

《和平精英国际服》是蓝洞和腾讯联合出

11-19 200阅读
帝国时代4秘籍大全2024_帝国时代4国家崛起秘籍作弊码大全(含隐藏秘籍)

帝国时代4秘籍大全2024_帝

帝国时代4是帝国时代4系列游戏的最新版

11-19 169阅读
卧龙苍天陨落武将韩当解锁方法详细介绍

卧龙苍天陨落武将韩当解锁

韩当是三国历史上孙吴阵营的名将,在卧龙

11-19 116阅读
原子之心能量不回复怎么办?原子之心恢复能量的方法分享

原子之心能量不回复怎么办

原子之心能量不回复怎么办?原子之心游戏

11-19 134阅读
饥荒通过卡猪人快速回复san值的详细操作方法

饥荒通过卡猪人快速回复sa

饥荒游戏里面玩家经常会面对san值不足

11-19 131阅读