DDN Infinia对象存储技术解析及POSIX问题解决方案

1个月前 科技 7观看
摘要 我们采访了DDN产品高级副总裁James Coomer和首席技术官Sven Oehme,深入了解了其相对较新的Infinia对象存储的发展状况,以及在性能、多租户和容灾方面的技术细节。**Infinia发展现状**James Coo

我们采访了DDN产品高级副总裁James Coomer和首席技术官Sven Oehme,深入了解了其相对较新的Infinia对象存储的发展状况,以及在性能、多租户和容灾方面的技术细节。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**Infinia发展现状**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

James Coomer表示:"我们已经在生产环境中运行了相当长时间。v2.2版本即将发布,具备强大的多租户功能,包括安全性/容灾、性能和容量SLA。"cCQ喜好网-记录每日喜好的科技时尚娱乐生活

Infinia架构的核心是将一切构建在键值存储基础之上,这与其他系统采用块存储基础层、文件系统再加上对象导出器的架构截然不同。通过使用键值存储,系统能够将所有数据均匀分布在所有设备上,因为键和值非常容易分发。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

该系统采用Beta Epsilon树数据结构,这是一种先进的键值存储,在读写操作之间实现了良好的平衡。与以往优化读取或写入的数据结构不同,这种架构使Infinia中的每个数据源都成为对等关系,而非层级关系。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**性能表现突出**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

在性能方面,DDN传统上在吞吐量、IOPS和单线程吞吐量方面表现强劲。但Infinia还专注于另一个关键领域:列表性能、首字节时间和延迟。这在AI应用中尤为重要,比如RAG查询需要在毫秒内搜索大量知识库并找到相关内容。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

Sven Oehme详细解释了性能优势:"AWS和其他对象存储通常将这些功能放在数据库中处理,即使在后台运行内存数据库,速度仍然不够快。而Infinia通过键值存储中的数据结构布局方式,能够自动索引、前缀处理和负载均衡所有创建的对象。"cCQ喜好网-记录每日喜好的科技时尚娱乐生活

在实际测试中,AWS对象列表性能约为每秒6,000个对象,而Infinia在生产环境中单线程可达80,000个对象每秒,多线程可达600,000个对象每秒,相比AWS快100倍。跨多个存储桶并行操作时,可达到每秒3,000万个对象的列表性能。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**延迟优势明显**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

在延迟方面,AWS S3的首字节时间约为100毫秒,S3 Express约为10毫秒(成本高12倍),而在AWS虚拟机上部署的Infinia延迟约为1毫秒。从S3到Infinia,延迟改善了100倍,同时成本比AWS S3 Express更低。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

James Coomer表示:"当我们谈论毫秒级的读写操作时,已经达到了文件系统延迟水平。现在可以在对象存储上运行非常交互式的工作负载,这在以前只能在文件系统上实现。"cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**多租户架构创新**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

Infinia的多租户功能允许系统根据租户和子租户完全分布数据资源。与传统方法中卷与特定租户直接关联不同,Infinia系统中没有这种关联。这意味着可以实现极端的资源分配,比如获得99%的性能但只占用1%的容量,或者只获得1%的性能但占用99%的容量。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

系统支持基于SLA的管理,不仅针对性能和容量,还包括容灾能力。用户可以为关键数据设置跨站点故障保护,而对于非关键数据则可以选择本地存储以获得最高性能。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**容灾能力强大**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

Sven Oehme介绍了容灾能力:"我们从能够承受多少故障的角度来讨论容灾。如果将Infinia系统部署在五个物理站点上,可以定义对于关键数据集需要承受站点故障。系统会自动应用足够宽泛的纠删码来覆盖站点故障,或者动态应用复制策略。"cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**SLA管理机制**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

在SLA处理方面,Infinia实现了优先级分配机制,支持多达64个独立的服务质量优先级别。系统提供三个预设默认值:高优先级、中优先级和低优先级。当高优先级工作负载运行时,它将获得最大可能的份额,其他工作负载仍能获得适当的资源分配而不会停滞。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**软件栈发展**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

DDN正在转变其定位,不再仅仅是为HPC和AI站点提供最快的并行存储,而是在开发完整的软件栈。在AWS上构建的RAG管道演示中,通过使用GPU卸载优化的Milvus数据库和Infinia对象存储接口替换AWS服务,整个RAG管道速度提升了22倍,同时成本降低了60%以上。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**内置服务特性**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

Infinia默认提供数据压缩功能,无需任何调整或配置。系统还会自动加密所有数据,如果没有硬件加密加速,则使用软件加密;如果有硬件支持,则使用硬件加密。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

**未来发展路线**cCQ喜好网-记录每日喜好的科技时尚娱乐生活

James Coomer透露,DDN正在与英伟达合作开发多项功能,包括KB Cache支持和GPUDirect for Object支持。Infinia软件栈提供的软件开发工具包已经实现了数据传输的RDMA卸载功能,这正是GPUDirect for Object的主要特性。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

这些技术创新表明,Infinia对象存储正在重新定义存储架构,特别是在AI和高性能计算领域,为用户提供了超越传统POSIX文件系统限制的解决方案。cCQ喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
苹果史上薄机型!曝iPhone 17 Air厚度仅6mm

苹果史上薄机型!曝iPhone 17 Air

11月19日

11-19 107阅读
华为强机皇!Mate 70系列关键信息汇总:外观/性能/影像揭秘

华为强机皇!Mate 70系列关键信息

华为Mate

11-19 111阅读
TGA 2024 提名名单将于 11 月 19 日北京时间公布

TGA 2024 提名名单将于 11 月 19

11-19 130阅读
睿蓝8七座纯电MPV上市,起售价13.78万元

睿蓝8七座纯电MPV上市,起售价13.7

11-19 101阅读
英伟达发布PC端Nvidia应用,取代GeForce Experience

英伟达发布PC端Nvidia应用,取代Ge

11-19 119阅读
《藏海花之暗巢汹涌》定档11月14日 古穴探险再寻迷踪嗜血凶怪惊悚升级

《藏海花之暗巢汹涌》定档

  改编自南派三叔原著小说《藏海花

11-19 106阅读
曝何炅KTV陪大姐喝酒视频,被搂肩一脸不悦,知情者曝真相

曝何炅KTV陪大姐喝酒视频,

11月18日,主持人何炅成为备受热议的对

11-19 101阅读
爱尔兰移民项目身 光环 太多,一份投资,三大收获,四重身份(爱尔兰移民项目身)

爱尔兰移民项目身 光环 太

其实自英国脱欧以来,获得爱尔兰公

11-19 119阅读
“重温经典”电视频道火爆:超6000万户 稳居收视率首位

“重温经典”电视频道火爆

11月18日消息,根

11-19 102阅读
三傻变劳拉

三傻变劳拉

跨度太大,玩家一

11-19 97阅读
城市天际线秘籍代码及使用方法详细介绍

城市天际线秘籍代码及使用

《城市:天际线》是以建造和管理城市为题

11-19 103阅读
原子之心能量不回复怎么办?原子之心恢复能量的方法分享

原子之心能量不回复怎么办

原子之心能量不回复怎么办?原子之心游戏

11-19 128阅读
饥荒所有魔杖制作方法详细介绍

饥荒所有魔杖制作方法详细

饥荒游戏里面拥有非常丰富的魔杖种类,不

11-19 111阅读
原神智慧之神的踪影任务流程|原神智慧之神的踪影攻略

原神智慧之神的踪影任务流

原神智慧之神的踪影是须弥地区魔神主线

11-19 111阅读
界面设计全面升级 NVIDIA app实际体验:五大靓点堪称N卡必备搭档

界面设计全面升级 NVIDIA

11-19 113阅读