生成式 AI、大语言模型和智能代理正在改变存储行业

6个月前 科技 36观看
摘要 分析:生成式 AI 正如决堤的洪水一样席卷整个 IT 行业。许多供应商将其视为继互联网之后又一个划时代的变革,但也有人担心这可能会演变成类似互联网泡沫的事件。无论如何,从内存-存储接口层面开

分析:生成式 AI 正如决堤的洪水一样席卷整个 IT 行业。许多供应商将其视为继互联网之后又一个划时代的变革,但也有人担心这可能会演变成类似互联网泡沫的事件。Idb喜好网-记录每日喜好的科技时尚娱乐生活

无论如何,从内存-存储接口层面开始,AI 正在深刻地改变着 IT 存储领域,生成式 AI 的浪潮正推动着所有存储技术的发展。纵观存储领域,生成式 AI 正在通过六种方式改变着块存储、文件存储和对象存储的世界。Idb喜好网-记录每日喜好的科技时尚娱乐生活

在最底层,也就是存储系统与服务器内存交互的层面,Nvidia GPU 及其高带宽内存 (HBM) 的出现,使文件存储系统和阵列控制器处理器及其 DRAM 的主要任务变成了简单地让路,允许 NVMe 闪存驱动器通过远程直接内存访问和 GPUDirect 协议直接连接到 GPU 内存,实现高速数据传输。Idb喜好网-记录每日喜好的科技时尚娱乐生活

DapuStor、DDN、Dell、华为、IBM (Storage Scale)、NetApp、Pure Storage、VAST Data、WEKA、YanRong 以及 PEAK:AIO 和 Western Digital (OpenFlex) 等公司都在这一领域活跃。就连 Nutanix 也计划添加 GPUDirect 支持。Idb喜好网-记录每日喜好的科技时尚娱乐生活

这种非结构化数据传输方式正在扩展到对象存储领域,使得 PB 级的预留数据可以被释放出来用于 AI 训练,以及后续由 GPU 执行的推理过程。近几个月来,Cloudian、MinIO 和 Scality 都发布了相关新闻。Idb喜好网-记录每日喜好的科技时尚娱乐生活

存储媒体制造商也在对生成式 AI 作出反应。SSD 制造商和 NAND 生产商认识到生成式 AI 需要快速读取大量数据,这意味着他们必须生产使用经济实惠的 QLC (4bits/cell) 3D NAND 的大容量驱动器,如 62TB 和最近的 123TB SSD。生成式 AI 训练还需要快速作业检查点以实现更快的训练作业重启。Idb喜好网-记录每日喜好的科技时尚娱乐生活

Solidigm 在 2023 年 7 月就推出了 61.44TB D5-P5336 驱动器,随后 Micron、母公司 SK hynix 和三星也跟进。Phison 也进入这个市场,推出了与 Solidigm 最新的 122TB 驱动器相当的 Pascari D205V 122.8TB 驱动器。Idb喜好网-记录每日喜好的科技时尚娱乐生活

我们可能会在今年年底或 2026 年初看到容量翻倍的新产品。硬盘驱动器 (HDD) 并没有用于 AI 训练,因为它们太慢且容量有限。在使用 GPU 进行 AI 推理时,出于相同的速度和容量考虑,SSD 肯定也会是存储的首选,这对 x86 服务器来说也是如此。如果 AI PC 流行起来,基于相同的原因,它们也都将使用 SSD 而不是 HDD。Idb喜好网-记录每日喜好的科技时尚娱乐生活

这意味着 HDD 只能用于生成式 AI 的二级存储,到目前为止,这种情况还没有大规模发生。希捷、西部数据,毫无疑问还有东芝,都将 HDD 市场扩张的希望寄托在生成式 AI 的数据存储需求上,并且似乎对此充满信心。Idb喜好网-记录每日喜好的科技时尚娱乐生活

磁带市场完全没有受到生成式 AI 数据存储需求的直接影响,而且可能也不会受到影响。Idb喜好网-记录每日喜好的科技时尚娱乐生活

在存储堆栈的驱动器媒体之上,我们有块存储阵列、文件服务器和对象存储系统。如上所述,几乎所有的文件服务器供应商和对象存储供应商都受到了支持 GPUDirect 访问驱动器的影响。一些供应商构建了专门的 AI 系统,如 Pure Storage 的 Airi 产品。VAST Data、DDN、WEKA 等公司通过获得 Nvidia SuperPOD 认证,销售额有所增长。Idb喜好网-记录每日喜好的科技时尚娱乐生活

随着生成式 AI 聊天机器人在非结构化数据上进行训练并转换为向量嵌入,块存储并没有提供类似 GPUDirect 的访问,而块存储对事务数据库和 ERP 系统至关重要。Idb喜好网-记录每日喜好的科技时尚娱乐生活

在知识图谱领域,像 Graphwise 和 Illumex 这样的公司正在努力使这些数据可用于 AI 训练。Idb喜好网-记录每日喜好的科技时尚娱乐生活

存储阵列和数据平台供应商都在改造他们的软件,以支持添加专有和最新的非结构化数据,来增强由较旧和更通用数据训练的生成式 AI 大语言模型 (LLM) 的推理能力。这些数据必须向量化,并将生成的向量存储在数据库中,供 LLM 在检索增强生成 (RAG) 中使用。Idb喜好网-记录每日喜好的科技时尚娱乐生活

现有的非 RDBMS 数据库、数据仓库和数据湖供应商正在向其产品添加向量存储功能,如 SingleStore。像 Pinecone 和 Zilliz 这样的数据库初创公司已经开发了专门的向量数据库,承诺提供更好的性能和增强对 LLM 的支持。Idb喜好网-记录每日喜好的科技时尚娱乐生活

数据仓库和数据湖供应商正在疯狂地进行以生成式 AI 为中心的开发,以成为 AI 训练和推理数据的数据源。其中最引人注目的是 Databricks 在去年年底获得了 100 亿美元的风险投资,用于继续其生成式 AI 业务的发展。Idb喜好网-记录每日喜好的科技时尚娱乐生活

第五个受生成式 AI 影响很大的存储领域是数据保护,供应商已经意识到他们的备份存储中包含大量可被生成式 AI 代理使用的数据。像 Cohesity、Commvault 和 Rubrik 这样的供应商正在提供自己的 AI 代理,如 Cohesity 的 Gaia,并且也在开发 RAG 支持设施。Idb喜好网-记录每日喜好的科技时尚娱乐生活

总的来说,没有数据存储供应商能够忽视 RAG,因为预计所有数据存储都必须为其提供数据。提供这些数据并不像简单地给 LLM 提供 API 访问并让模型提取所需的任何数据那么简单。一个组织通常会有许多不同的数据存储,要使其内容得到适当过滤,排除完全私密的信息或低于访问 LLM 权限的数据,需要建立生成式 AI 版本的提取、转换(成向量)和加载 (ETL) 管道设置。Idb喜好网-记录每日喜好的科技时尚娱乐生活

像 Arcitecta、Datadobi、DataDynamics、Hammerspace 和 Komprise 这样的数据管理和编排供应商都在发挥各自的作用,包括映射数据源、提供单一虚拟存储库,以及构建数据管道将他们管理的数据输入到 LLM 中。Idb喜好网-记录每日喜好的科技时尚娱乐生活

存储供应商也开始在自己的产品中使用生成式 AI 代理,例如用于支持,或简化和改进存储产品的管理和安全性。这将影响所有存储系统供应商,而 AIOps 将通过生成式 AI 代理的使用而转型;可以将其理解为代理式 AIOps。Idb喜好网-记录每日喜好的科技时尚娱乐生活

网络弹性领域将需要抵御生成式 AI 代理辅助的恶意软件攻击,并且肯定会使用生成式 AI 代理来构建对此类攻击的响应。Idb喜好网-记录每日喜好的科技时尚娱乐生活

我们将在整个 2025 年看到存储世界被生成式 AI 持续改变。这种趋势似乎无法阻止,除了恶意软件代理外,应该是有益的。Idb喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
今年双11大变样,淘宝京东不卷了!

今年双11大变样,淘宝京东不卷了!

在被电商平台造出的第16个年头,双

11-19 114阅读
华为强机皇!Mate 70系列关键信息汇总:外观/性能/影像揭秘

华为强机皇!Mate 70系列关键信息

华为Mate

11-19 118阅读
孙正义黄仁勋互曝往事:差点买下英伟达,错失两千亿美元

孙正义黄仁勋互曝往事:差点买下英

孙正

11-19 111阅读
大佬喊话,AI寒冬已来?

大佬喊话,AI寒冬已来?

OpenA

11-19 111阅读
割不动贵妇,燕窝盯上男总裁

割不动贵妇,燕窝盯上男总裁

消费

11-19 143阅读
Netflix,振奋时刻下的暗潮

Netflix,振奋时刻下的暗潮

作者 / 向   向运营 / 狮子座和202

11-19 109阅读
斗鱼第一土豪落天神身份曝光, 花钱如流水居然是这样的身份!

斗鱼第一土豪落天神身份曝

如果很早就看直播的网友,想必都听

11-19 102阅读
刘学义吴谨言新剧《春花厌》官宣,原著小说三观炸裂超虐

刘学义吴谨言新剧《春花厌

此前有消息传小说《春花厌》影视

11-19 114阅读
73岁张纪中为四胎女儿办满月宴 晒全家福庆祝

73岁张纪中为四胎女儿办满

11月18日导演张

11-19 108阅读
日本导演神山健治执导 动画电影《指环王:洛汗之战》内地定档12月14日

日本导演神山健治执导 动

11月19日消息,今

11-19 123阅读
帝国时代2高清版秘籍,帝国时代2高清重制版(HD版)秘籍

帝国时代2高清版秘籍,帝国

帝国时代2高清版是最近很多玩家在玩的

11-19 123阅读
卧龙苍天陨落武将韩当解锁方法详细介绍

卧龙苍天陨落武将韩当解锁

韩当是三国历史上孙吴阵营的名将,在卧龙

11-19 118阅读
原子之心芭蕾舞者谜题攻略_芭蕾舞者舞姿调整攻略

原子之心芭蕾舞者谜题攻略

原子之心游戏里面玩家会在剧院中碰到一

11-19 121阅读
原神八个探索性成就任务攻略|八个探索性隐藏成就做法

原神八个探索性成就任务攻

八个探索性成就是原神须弥地区的隐藏任

11-19 111阅读
饥荒暖石制作方法详细介绍

饥荒暖石制作方法详细介绍

暖石是饥荒游戏里面的一个特殊道具,可以

11-19 187阅读