HPE Alletra X10000 重新定义横向扩展存储架构

2个月前 科技 17观看
摘要 分析:HPE 的 Alletra MP X10000 对象存储系统代表了一种新型的横向扩展存储硬件,采用了由 VAST Data 首创的分散共享一切 (DASE) 架构。HPE 全球技术与战略架构师 Dimitris Krekoukias 撰写了

分析:HPE 的 Alletra MP X10000 对象存储系统代表了一种新型的横向扩展存储硬件,采用了由 VAST Data 首创的分散共享一切 (DASE) 架构。HPE 全球技术与战略架构师 Dimitris Krekoukias 撰写了一篇博客,详细介绍了其主要特性并解释了设计理念。26C喜好网-记录每日喜好的科技时尚娱乐生活

他列举了系统的主要特点,包括 RDMA 和用于 S3 的 GPUDirect、数据服务分区、键值存储基础、单一存储桶速度、高吞吐量和小型事务的平衡读写速度、小型写入缓冲等功能。26C喜好网-记录每日喜好的科技时尚娱乐生活

该系统完全采用 HPE 自主技术构建,而非 OEM 软件或授权硬件。它由基于 ProLiant 的存储服务器控制器节点和独立的全闪存储或容量节点组成,通过 NVMe 内部架构互连,并存在于全局命名空间中。容器化操作系统初期提供对象存储功能,但可以在其基础的日志结构化键值存储之上支持其他协议,未来还可添加更多协议层。26C喜好网-记录每日喜好的科技时尚娱乐生活

Krekoukias 表示:"这些协议层针对特定协议的语义进行了优化,将每个协议都视为一等公民。这使得 X10000 能够利用每种协议的优势,而不会继承第二种协议的缺点或在协议之上运行其他协议(如对象建立在文件之上,反之亦然)。"26C喜好网-记录每日喜好的科技时尚娱乐生活

HPE 需要系统通过 RDMA (远程直接内存访问) 和 Nvidia 的 GPUDirect for S3 协议提供对对象数据的快速访问,实现 GPU 服务器对存储驱动器的直接访问。Krekoukias 写道:"与 TCP 相比,这项技术将大大提高性能并显著降低 CPU 需求,使您能够充分利用基础设施,并消除 GPUDirect 管道中的 NAS 瓶颈。"26C喜好网-记录每日喜好的科技时尚娱乐生活

他声称:"通过三重+纠删码和级联多级校验和(这是首次在 Nimble,随后在 Alletra 5000 和 6000 中出现的保护机制的演进),确保了极高的弹性和数据完整性。"写入缓冲区位于 SSD 而不是 NVRAM 中,"消除了 HA 对的限制"。26C喜好网-记录每日喜好的科技时尚娱乐生活

每个驱动器被划分为所谓的小型逻辑驱动器或磁盘片,最小可达 1 GB,这些磁盘片被放入 RAID 组中。这些 RAID 组可以限制在一个 JBOF (存储节点) 内,或跨越多个 JBOF 以防止故障。传入数据经过压缩,"通过使用 24 个磁盘片的 RAID 组确保良好的空间效率。"26C喜好网-记录每日喜好的科技时尚娱乐生活

工作负载被切分为数据服务分区 (DSP),DSP 分片在不同的控制器节点上运行。如果一个或多个控制器节点发生故障,受影响的 DSP "会在剩余控制器之间平稳均匀地重新分配。" 磁盘片 RAID 切片根据需要动态分配给 DSP。26C喜好网-记录每日喜好的科技时尚娱乐生活

Krekoukias 指出:"由于所有状态仅在 JBOF 中持久化,而节点完全无状态,这种 DSP 的移动只需要几秒钟,并且不涉及数据移动...由于对象基于哈希分布在 DSP 中,性能始终在集群节点之间保持负载均衡。"计算和存储容量可以独立扩展。26C喜好网-记录每日喜好的科技时尚娱乐生活

除了 GPUDirect for S3 外,性能一直是系统设计的重点。博客告诉我们,"典型的非结构化工作负载(如分析和数据保护)假定每个应用单元(如单个仓库或备份链)使用单个存储桶或少量存储桶。"由于采用了 DSP 分片概念,无需使用多个小存储桶来提高 I/O 性能。26C喜好网-记录每日喜好的科技时尚娱乐生活

他写道:"X10000 线性扩展单个存储桶的能力意味着单个应用程序能够与大量应用程序或租户一样受益于 X10000 的横向扩展能力。"26C喜好网-记录每日喜好的科技时尚娱乐生活

HPE 表示,X10000 具有平衡的性能,因为它"旨在提供高吞吐量和小型事务操作的平衡读写性能。这意味着对于重写入工作负载,不需要一个庞大的集群。这带来了针对任何工作负载的优化性能体验,并能够在不造成浪费的情况下达到性能目标。"26C喜好网-记录每日喜好的科技时尚娱乐生活

系统的"X10000 日志结构化键值存储是基于范围的",并且范围大小可变。范围是一个连续的存储块,可容纳多个键值对,从而提高访问速度。元数据和数据访问也可以适应应用程序边界。26C喜好网-记录每日喜好的科技时尚娱乐生活

"X10000 的写入缓冲区和索引针对小对象进行了优化。X10000 实现了一个写入缓冲区,小型 PUT 操作首先提交到该缓冲区,然后再暂存到日志结构化存储中,元数据更新则合并到分形索引树中以实现高效更新。"26C喜好网-记录每日喜好的科技时尚娱乐生活

小对象写入 (PUT) "在暂存到日志结构化、受纠删码保护的存储之前,先提交到 X10000 的写入缓冲区。写入缓冲区的提交降低了小型 PUT 的延迟并减少了写入放大。写入缓冲区存储在与日志结构化存储相同的 SSD 上,由一组磁盘片组成。"26C喜好网-记录每日喜好的科技时尚娱乐生活

Krekoukias 说:"基于 SSD 的写入缓冲区可以为延迟敏感的结构化数据工作负载提供与 NVDIMM 等先前方法相同的高可靠性和低延迟。"26C喜好网-记录每日喜好的科技时尚娱乐生活

所有这些设计要点意味着小型 X10000 配置(仅具有 192 TB 原始容量和 3.84 TB SSD)就能获得良好的性能,无需扩大集群规模即可实现高性能。26C喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
小鹏汇天“陆地航母”2024 广州车展完成全球公开载人首飞

小鹏汇天“陆地航母”2024 广州

11-19 61阅读
52岁浙商要搞AD钙奶,宗馥莉又有一战

52岁浙商要搞AD钙奶,宗馥莉又有一

带领

11-19 66阅读
海马体的“中年危机”

海马体的“中年危机”

写真

11-19 69阅读
Scaling Law遭遇瓶颈,OpenAI被曝押注智能体“Operator”

Scaling Law遭遇瓶颈,OpenAI被曝

文章来源:量子位图片来源:由无界AI

11-19 65阅读
腾讯的AI困局

腾讯的AI困局

文章来源:科技新知图片来源:由无界

11-19 65阅读
太太太灵了吧,这是什么「好东西」

太太太灵了吧,这是什么「好

作者 / 西贝偏北运营 / 狮子座还记得

11-19 65阅读
《假日暖洋洋》姚晨与小11岁白宇演 姐弟恋 ,别说,还真甜(假日暖洋洋姚晨与小11岁白宇演)

《假日暖洋洋》姚晨与小11

有生之年,欣喜相逢。 我是温暖,欢迎

11-19 69阅读
味道研究所 | 橘黄变棕红 这口Q糯甜香深深烙印在你心间(味道研究所橘黄变棕红)

味道研究所 | 橘黄变棕红

© |菜头 遂昌乡村有着独特的

11-19 69阅读
THE BOYZ金善旴遭私生殴打 警方已经逮捕私生

THE BOYZ金善旴遭私生殴打

  11月14日,据韩媒报道称,男

11-19 63阅读
《猫眼三姐妹》动画将重制!童年三女神高清归来!

《猫眼三姐妹》动画将重制

近日有报道称,北

11-19 65阅读
LUIDA’S BAR推出《DQIII》合作菜单

LUIDA’S BAR推出《DQIII

为纪念HD-

11-19 67阅读
万代魂系高端钢普拉大展 解体匠机第三弹高达Mk-II再参展

万代魂系高端钢普拉大展

万代高端模玩魂系列展会《TAMASHII NA

11-19 68阅读
特别好评《永恒天空》明年登陆PS5 试玩Demo现已上线

特别好评《永恒天空》明年

于 2023 年 6 月发售的开放世界科幻生

11-19 71阅读
原子之心激光模块解谜攻略

原子之心激光模块解谜攻略

原子之心游戏里面有一个被动安保激光模

11-19 72阅读
饥荒超全影怪封印方法一览

饥荒超全影怪封印方法一览

在饥荒游戏的设定里面,玩家san值掉到0之

11-19 68阅读