数据信手拈来,让Meta都称赞的AI存储新标杆 原创

5个月前 科技 26观看
摘要 在耀眼科技突破的背后,往往隐藏着不为人知的创新推手。当全球为Meta的Llama3模型惊叹时,很少有人注意到支撑这场AI革命的"无名英雄"——Hammerspace。Meta首席工程师称:“Hammerspace

在耀眼科技突破的背后,往往隐藏着不为人知的创新推手。YJR喜好网-记录每日喜好的科技时尚娱乐生活

当全球为Meta的Llama3模型惊叹时,很少有人注意到支撑这场AI革命的"无名英雄"——Hammerspace。Meta首席工程师称:“Hammerspace能做到的简直就是魔法。”因为其可以让数据实现随处访问,大幅提升GPU利用率,在业界可以说独步天下。YJR喜好网-记录每日喜好的科技时尚娱乐生活

“Hammerspace”名字的含义是一个可以即时进入,且大小无限的超维空间。这个名字源于漫画术语,就像漫画角色能凭空取出任意物品,无论大小。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace董事总经理Molly Presley说,Hammerspace做的就是你想从系统中拿到什么样的数据,都可以瞬间获得。YJR喜好网-记录每日喜好的科技时尚娱乐生活

以数据为中心的全新存储架构来了YJR喜好网-记录每日喜好的科技时尚娱乐生活

传统的数据存储和使用方式以存储系统为中心,这种架构也导致了非结构化数据形成孤岛,对各个系统的性能造成一定限制。而且在云端数据涌入后,企业面临着缺乏云敏捷性的挑战,往往需要依赖繁琐的人工操作来管理数据。YJR喜好网-记录每日喜好的科技时尚娱乐生活

行业迫切需要一种全新的存储架构!YJR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace则突破了这一限制,以数据为中心,实现数据的全局访问。比如在大模型训练场景能够从各处抽取训练所需的数据,并无缝延伸到云端,通过各种自动化数据编排工具,用户可以更快、更高效地完成数据的访问和编排。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Molly Presley强调,现在AI训练所需的数据量已远超过去二三十年积累的数据总量,并且训练需要高质量、独立且多样化的数据输入,Hammerspace为AI训练提供了前所未有的数据优化解决方案。YJR喜好网-记录每日喜好的科技时尚娱乐生活

自2018年成立以来,Hammerspace的发展一直在加速,2021年推出首款产品,2023年已成功应用于Meta、Los Alamos国家实验室等复杂的大规模环境。2024年,公司业务实现了十倍增长,并于2025年正式进军亚太市场。YJR喜好网-记录每日喜好的科技时尚娱乐生活

最近,Hammerspace与北京驿心科技有限公司(Yition.ai)达成战略合作。合作将 Hammerspace 成熟的高性能全局数据平台(对象与文件存储)与驿心科技降低 AI 存储成本、提升易用性的目标相结合,共同为云服务、高性能计算以及超大规模云服务提供商应对 AI 产生的海量非结构化数据,提供全新的存储与数据编排解决方案。YJR喜好网-记录每日喜好的科技时尚娱乐生活

AI存储、混合云与数据管理的全能选手YJR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace正在为AI时代的高性能存储树立新标杆。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Meta的Llama 2和Llama 3的模型训练使用了3000台GPU服务器、24000块GPU、1000节点存储集群,达到了12.5 TB/秒聚合吞吐量。在这个规模空前的AI训练系统中,Meta面临着一个关键挑战:如何在不破坏现有技术架构的同时,实现存储资源的即插即用,将GPU利用率推向100%。Meta最终选择了完全基于标准协议的框架设计的Hammerspace解决方案。YJR喜好网-记录每日喜好的科技时尚娱乐生活

而在Llama 4的训练架构中,Meta依然追求极致性能和GPU利用率这一宗旨,并加入了能源效率的考量维度。Hammerspace使Meta能够在能源成本最优的情况下,进行大规模数据训练,无需进行跨地域的数据迁移。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace打造了一个适用于GPU计算场景的全新NAS架构,打破了传统NAS集群无法提供的线性性能扩展的问题,基于标准协议实现的HPC级性能线性扩展,通过软件定义实现数据与硬件的解耦。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace的解决方案适用于AI/HPC场景下的高性能存储、多站点与混合云环境、数据的生命周期管理三个场景。YJR喜好网-记录每日喜好的科技时尚娱乐生活

AI/HPC场景下的高性能存储:无论是传统存储架构还是DeepSeek最新推出的3FS存储系统,都可以实现跨存储系统的无缝数据抽取,并供给GPU训练,这不仅打破了数据孤岛的桎梏,更将数据到价值的转化效率提升至新的高度。YJR喜好网-记录每日喜好的科技时尚娱乐生活

多站点与混合云环境:真正做到了数据协同作业,无论数据存储在公有云、私有云还是本地,上层应用都可以从全局无缝访问所有数据资源,无需考虑数据的具体位置或状态。YJR喜好网-记录每日喜好的科技时尚娱乐生活

数据的生命周期管理:能够完全实现自动化的数据管理需求,无论是数据保护、数据分层、数据迁移、数据管理、数据治理都可以在Hammerspace上完成。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Tier 0让真正意义的全局数据平台成为可能YJR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace还在最近推出了最新的Tier 0解决方案,可以充分利用每一台GPU服务器闲置的本地硬盘作为Tier 0存储层,显著提升了CheckPoint的效率。在大规模GPU服务器集群中,Tier 0技术将所有本地硬盘整合为一个全局命名空间的第0层,从而大幅提升读写性能,且无需额外成本。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Tier 0技术重新定义了GPU架构体系,显著降低了硬件投资和能源消耗,减少了GPU闲置时间,加速了设备价值的实现。通过Tier 0技术,Hammerspace构建了一个真正的全局数据平台,使数据根据指定的策略在其生命周期内放在合理的位置,从闪存到磁带,全面优化存储效率。YJR喜好网-记录每日喜好的科技时尚娱乐生活

数据信手拈来,让Meta都称赞的AI存储新标杆YJR喜好网-记录每日喜好的科技时尚娱乐生活

“Tier 0技术的诞生源于对GPU客户服务器本地盘长期闲置现象的洞察。”Molly Presley说道。Hammerspace的Tier 0解决方案成功解决了本地盘孤立和数据安全的问题,使客户无需额外投资外部存储,即可实现极高的数据吞吐量。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Tier 0技术的效果也是立竿见影。以10 PB数据量环境为例,可节省300万至400万美元的外部闪存存储硬件成本、三年内能源成本节省约50万美元,能源消耗减少约300万度电、节省3至5个数据中心机架空间。YJR喜好网-记录每日喜好的科技时尚娱乐生活

Hammerspace正在引领数据管理的未来,为企业提供高效、经济且可持续的存储解决方案。终极愿景是打破数据边界,无论是边缘、异地数据中心,还是云端,真正让数据实时访问,随需而动。YJR喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
广汽传祺S7大五座SUV全球首秀,预计明年上半年上市

广汽传祺S7大五座SUV全球首秀,预

11-19 131阅读
小米汽车发布智能底盘预研技术,实现多种高难度动作‌

小米汽车发布智能底盘预研技术,实

11-19 104阅读
贝恩投资宣布完成全球特殊机会基金的超额认购

贝恩投资宣布完成全球特殊机会基

贝恩

11-19 118阅读
割不动贵妇,燕窝盯上男总裁

割不动贵妇,燕窝盯上男总裁

消费

11-19 136阅读
致命错误!Sam Altman发一张对比图,遭到大量吐槽

致命错误!Sam Altman发一张对比图

图片来源:由无界AI生成OpenAI联合

11-19 130阅读
刘学义吴谨言新剧《春花厌》官宣,原著小说三观炸裂超虐

刘学义吴谨言新剧《春花厌

此前有消息传小说《春花厌》影视

11-19 114阅读
综艺《开播!短剧季》试镜最后一役!谁能夺得《包拯与公孙策》IP试播资格?

综艺《开播!短剧季》试镜最

  国内首档“微短剧+综艺”创新真人

11-19 114阅读
我们都在等待,等待钟声响起的那一刻。那是我生命最后的一刻,那也是最好的时刻

我们都在等待,等待钟声响起

  一段民族不可遗忘的历史,一个隐蔽

11-19 107阅读
73岁张纪中为四胎女儿办满月宴 晒全家福庆祝

73岁张纪中为四胎女儿办满

11月18日导演张

11-19 108阅读
肖战演郭靖!新《射雕》能复兴徐克的武侠梦吗 网友:肩负文化出海重任

肖战演郭靖!新《射雕》能复

11月18日消息,由

11-19 105阅读
城市天际线秘籍代码及使用方法详细介绍

城市天际线秘籍代码及使用

《城市:天际线》是以建造和管理城市为题

11-19 107阅读
N网怎么开启18+开关?NEXUSMODS开启18+开关的详细操作教程

N网怎么开启18+开关?NEXUS

N网怎么开启18+开关?N网全称NEXUSMODS,是

11-19 131阅读
原子之心电脉冲枪怎么用?原子之心电脉冲枪用不了的解决办法

原子之心电脉冲枪怎么用?

原子之心电脉冲枪怎么用?电脉冲枪是原子

11-19 118阅读
原子之心医院区域所有死者位置详细介绍

原子之心医院区域所有死者

在原子之心游戏里面想要达成招魂问卜奖

11-19 115阅读
原神愚人者人愚之任务攻略|愚人者人愚之隐藏任务详解

原神愚人者人愚之任务攻略

愚人者人愚之是原神须弥地区的隐藏任务

11-19 126阅读