生成式 AI、大语言模型和智能代理正在改变存储行业

3个月前 科技 22观看
摘要 分析:生成式 AI 正如决堤的洪水一样席卷整个 IT 行业。许多供应商将其视为继互联网之后又一个划时代的变革,但也有人担心这可能会演变成类似互联网泡沫的事件。无论如何,从内存-存储接口层面开

分析:生成式 AI 正如决堤的洪水一样席卷整个 IT 行业。许多供应商将其视为继互联网之后又一个划时代的变革,但也有人担心这可能会演变成类似互联网泡沫的事件。NPj喜好网-记录每日喜好的科技时尚娱乐生活

无论如何,从内存-存储接口层面开始,AI 正在深刻地改变着 IT 存储领域,生成式 AI 的浪潮正推动着所有存储技术的发展。纵观存储领域,生成式 AI 正在通过六种方式改变着块存储、文件存储和对象存储的世界。NPj喜好网-记录每日喜好的科技时尚娱乐生活

在最底层,也就是存储系统与服务器内存交互的层面,Nvidia GPU 及其高带宽内存 (HBM) 的出现,使文件存储系统和阵列控制器处理器及其 DRAM 的主要任务变成了简单地让路,允许 NVMe 闪存驱动器通过远程直接内存访问和 GPUDirect 协议直接连接到 GPU 内存,实现高速数据传输。NPj喜好网-记录每日喜好的科技时尚娱乐生活

DapuStor、DDN、Dell、华为、IBM (Storage Scale)、NetApp、Pure Storage、VAST Data、WEKA、YanRong 以及 PEAK:AIO 和 Western Digital (OpenFlex) 等公司都在这一领域活跃。就连 Nutanix 也计划添加 GPUDirect 支持。NPj喜好网-记录每日喜好的科技时尚娱乐生活

这种非结构化数据传输方式正在扩展到对象存储领域,使得 PB 级的预留数据可以被释放出来用于 AI 训练,以及后续由 GPU 执行的推理过程。近几个月来,Cloudian、MinIO 和 Scality 都发布了相关新闻。NPj喜好网-记录每日喜好的科技时尚娱乐生活

存储媒体制造商也在对生成式 AI 作出反应。SSD 制造商和 NAND 生产商认识到生成式 AI 需要快速读取大量数据,这意味着他们必须生产使用经济实惠的 QLC (4bits/cell) 3D NAND 的大容量驱动器,如 62TB 和最近的 123TB SSD。生成式 AI 训练还需要快速作业检查点以实现更快的训练作业重启。NPj喜好网-记录每日喜好的科技时尚娱乐生活

Solidigm 在 2023 年 7 月就推出了 61.44TB D5-P5336 驱动器,随后 Micron、母公司 SK hynix 和三星也跟进。Phison 也进入这个市场,推出了与 Solidigm 最新的 122TB 驱动器相当的 Pascari D205V 122.8TB 驱动器。NPj喜好网-记录每日喜好的科技时尚娱乐生活

我们可能会在今年年底或 2026 年初看到容量翻倍的新产品。硬盘驱动器 (HDD) 并没有用于 AI 训练,因为它们太慢且容量有限。在使用 GPU 进行 AI 推理时,出于相同的速度和容量考虑,SSD 肯定也会是存储的首选,这对 x86 服务器来说也是如此。如果 AI PC 流行起来,基于相同的原因,它们也都将使用 SSD 而不是 HDD。NPj喜好网-记录每日喜好的科技时尚娱乐生活

这意味着 HDD 只能用于生成式 AI 的二级存储,到目前为止,这种情况还没有大规模发生。希捷、西部数据,毫无疑问还有东芝,都将 HDD 市场扩张的希望寄托在生成式 AI 的数据存储需求上,并且似乎对此充满信心。NPj喜好网-记录每日喜好的科技时尚娱乐生活

磁带市场完全没有受到生成式 AI 数据存储需求的直接影响,而且可能也不会受到影响。NPj喜好网-记录每日喜好的科技时尚娱乐生活

在存储堆栈的驱动器媒体之上,我们有块存储阵列、文件服务器和对象存储系统。如上所述,几乎所有的文件服务器供应商和对象存储供应商都受到了支持 GPUDirect 访问驱动器的影响。一些供应商构建了专门的 AI 系统,如 Pure Storage 的 Airi 产品。VAST Data、DDN、WEKA 等公司通过获得 Nvidia SuperPOD 认证,销售额有所增长。NPj喜好网-记录每日喜好的科技时尚娱乐生活

随着生成式 AI 聊天机器人在非结构化数据上进行训练并转换为向量嵌入,块存储并没有提供类似 GPUDirect 的访问,而块存储对事务数据库和 ERP 系统至关重要。NPj喜好网-记录每日喜好的科技时尚娱乐生活

在知识图谱领域,像 Graphwise 和 Illumex 这样的公司正在努力使这些数据可用于 AI 训练。NPj喜好网-记录每日喜好的科技时尚娱乐生活

存储阵列和数据平台供应商都在改造他们的软件,以支持添加专有和最新的非结构化数据,来增强由较旧和更通用数据训练的生成式 AI 大语言模型 (LLM) 的推理能力。这些数据必须向量化,并将生成的向量存储在数据库中,供 LLM 在检索增强生成 (RAG) 中使用。NPj喜好网-记录每日喜好的科技时尚娱乐生活

现有的非 RDBMS 数据库、数据仓库和数据湖供应商正在向其产品添加向量存储功能,如 SingleStore。像 Pinecone 和 Zilliz 这样的数据库初创公司已经开发了专门的向量数据库,承诺提供更好的性能和增强对 LLM 的支持。NPj喜好网-记录每日喜好的科技时尚娱乐生活

数据仓库和数据湖供应商正在疯狂地进行以生成式 AI 为中心的开发,以成为 AI 训练和推理数据的数据源。其中最引人注目的是 Databricks 在去年年底获得了 100 亿美元的风险投资,用于继续其生成式 AI 业务的发展。NPj喜好网-记录每日喜好的科技时尚娱乐生活

第五个受生成式 AI 影响很大的存储领域是数据保护,供应商已经意识到他们的备份存储中包含大量可被生成式 AI 代理使用的数据。像 Cohesity、Commvault 和 Rubrik 这样的供应商正在提供自己的 AI 代理,如 Cohesity 的 Gaia,并且也在开发 RAG 支持设施。NPj喜好网-记录每日喜好的科技时尚娱乐生活

总的来说,没有数据存储供应商能够忽视 RAG,因为预计所有数据存储都必须为其提供数据。提供这些数据并不像简单地给 LLM 提供 API 访问并让模型提取所需的任何数据那么简单。一个组织通常会有许多不同的数据存储,要使其内容得到适当过滤,排除完全私密的信息或低于访问 LLM 权限的数据,需要建立生成式 AI 版本的提取、转换(成向量)和加载 (ETL) 管道设置。NPj喜好网-记录每日喜好的科技时尚娱乐生活

像 Arcitecta、Datadobi、DataDynamics、Hammerspace 和 Komprise 这样的数据管理和编排供应商都在发挥各自的作用,包括映射数据源、提供单一虚拟存储库,以及构建数据管道将他们管理的数据输入到 LLM 中。NPj喜好网-记录每日喜好的科技时尚娱乐生活

存储供应商也开始在自己的产品中使用生成式 AI 代理,例如用于支持,或简化和改进存储产品的管理和安全性。这将影响所有存储系统供应商,而 AIOps 将通过生成式 AI 代理的使用而转型;可以将其理解为代理式 AIOps。NPj喜好网-记录每日喜好的科技时尚娱乐生活

网络弹性领域将需要抵御生成式 AI 代理辅助的恶意软件攻击,并且肯定会使用生成式 AI 代理来构建对此类攻击的响应。NPj喜好网-记录每日喜好的科技时尚娱乐生活

我们将在整个 2025 年看到存储世界被生成式 AI 持续改变。这种趋势似乎无法阻止,除了恶意软件代理外,应该是有益的。NPj喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
特斯拉与上汽讨论两轮FSD授权?官方回应

特斯拉与上汽讨论两轮FSD授权?官

11月1

11-19 62阅读
苹果揭秘自研芯片成功原因:竞争对手没法用最新尖端技术

苹果揭秘自研芯片成功原因:竞争对

11月1

11-19 72阅读
看懂小米2024年Q3财报:史上强 手握现金1516亿元

看懂小米2024年Q3财报:史上强 手

11月18日

11-19 70阅读
港式茶餐厅“大退潮”?

港式茶餐厅“大退潮”?

被誉

11-19 58阅读
哪个正常人能拒绝一只毛茸茸的「电子猫咪」?

哪个正常人能拒绝一只毛茸茸的「

猫咪

11-19 70阅读
Netflix,振奋时刻下的暗潮

Netflix,振奋时刻下的暗潮

作者 / 向   向运营 / 狮子座和202

11-19 68阅读
高基才个人资料, 深扒小鲜肉高基才家庭背景

高基才个人资料, 深扒小鲜

电视剧《一夜新娘》正在热播中,剧

11-19 67阅读
人民日报评代拍乱象, 代拍为何惹众怒?

人民日报评代拍乱象, 代拍

近期除了家暴一词被大家热议,代拍

11-19 70阅读
悬疑探案剧《宋慈韶华录》今日开播,海天一李乃文等实力派助阵

悬疑探案剧《宋慈韶华录》

李乃文的新剧《三大队》还在热播

11-19 61阅读
魔兽世界年卡来了 送筋肉鱼人 兔年坐骑,怀旧服幽冥幼龙(魔兽世界年卡来了)

魔兽世界年卡来了 送筋肉

暴雪今天早晨发布了魔兽世界最新的

11-19 65阅读
N网怎么开启18+开关?NEXUSMODS开启18+开关的详细操作教程

N网怎么开启18+开关?NEXUS

N网怎么开启18+开关?N网全称NEXUSMODS,是

11-19 93阅读
饥荒蜘蛛网超详细获取方法分享

饥荒蜘蛛网超详细获取方法

蜘蛛网是饥荒游戏里面的一个常用材料,有

11-19 70阅读
原神林中遇变任务怎么做?原神林中遇变主线攻略

原神林中遇变任务怎么做?

林中遇变是原神须弥地区魔神主线任务的

11-19 63阅读
原神赤王时代的沙漠与大赤沙海任务全流程攻略

原神赤王时代的沙漠与大赤

赤王时代的沙漠与大赤沙海是原神须弥地

11-19 68阅读
饥荒鱼竿怎么做?饥荒钓鱼竿制作材料详细介绍

饥荒鱼竿怎么做?饥荒钓鱼

饥荒鱼竿怎么做?在饥荒游戏里面,我们可以

11-19 79阅读