数据分析加速如何解决 AI 隐藏的瓶颈

1周前 科技 1观看
摘要 快节奏的 AI 领域从不缺乏头条新闻。例如,去年 11 月,Cerebras 宣称他们制造了世界上最快的 AI 推理芯片。今年 4 月,OpenAI 推出了其称为全新“巨型”且“昂贵”的模型,该模型“让人感觉仿佛在

快节奏的 AI 领域从不缺乏头条新闻。例如,去年 11 月,Cerebras 宣称他们制造了世界上最快的 AI 推理芯片。今年 4 月,OpenAI 推出了其称为全新“巨型”且“昂贵”的模型,该模型“让人感觉仿佛在与一位深思熟虑的人对话”。neu喜好网-记录每日喜好的科技时尚娱乐生活

然而,在这些喧嚣的表象下,企业团队内部正发生着某种变化。neu喜好网-记录每日喜好的科技时尚娱乐生活

当许多 CEO 纷纷大谈经过精细调试的助手、多模态奇迹和巨资投资时,那些常常深陷在 AI 真正生死攸关的数据战场中的工程师,却在观察着他们的仪表板亮起异常信号:查询时间飙升、数据管道堵塞、模型停滞。neu喜好网-记录每日喜好的科技时尚娱乐生活

生成式 AI 的热潮引发了一场扩展更大模型的竞赛,其中 OpenAI CEO Sam Altman 是最为直言不讳的拥护者。然而,在这股炒作浪潮中,潜藏的数据分析瓶颈正在削弱许多企业的 AI 目标。neu喜好网-记录每日喜好的科技时尚娱乐生活

大多数组织仍在努力理解庞大而混乱的数据集。尽管 GPU 已极大地加速了模型训练,但数据准备 — 这一不太引人注目的确保输入准确性的工作 — 仍然停留在以 CPU 为主的架构上,而这些架构从未为这种规模设计。neu喜好网-记录每日喜好的科技时尚娱乐生活

简单地说,数据量的增长速度远快于我们处理数据的能力。neu喜好网-记录每日喜好的科技时尚娱乐生活

正如 NeuroBlade 的 CEO 兼联合创始人 Elad Sity 在一次采访中指出的:“尽管业界长期以来依赖 CPU 进行数据准备,但它们已经成为瓶颈 — 消耗了 AI 流程中超过 30% 的资源。”neu喜好网-记录每日喜好的科技时尚娱乐生活

结果如何?数据管道运行缓慢,成本急剧上升,企业的 AI 目标与实际投资回报率之间的差距不断扩大。neu喜好网-记录每日喜好的科技时尚娱乐生活

正如 Sity 所解释的,这种压力促使了思维方式的重大转变,业内正积极寻求解决方案。他表示:“这正推动着一场静默的革命,正在重塑数据分析 — 从依赖人工洞察转向由 AI 模型消耗并基于不断增长的数据集采取行动,从而加速数据采集和处理的循环。”neu喜好网-记录每日喜好的科技时尚娱乐生活

由 Sity 联合创立的以色列半导体初创公司 NeuroBlade 认为,答案在于一种专为加速数据分析而设计的新型硬件。他们的 Analytics Accelerator 不仅仅是一块更快的 CPU — 而是一种根本不同的架构,专门用于处理现代数据库工作负载。neu喜好网-记录每日喜好的科技时尚娱乐生活

但它能否实质性地重塑企业 AI 的经济模式呢?neu喜好网-记录每日喜好的科技时尚娱乐生活

数据准备为何拖慢了 AI 的发展 企业正在发现,AI 的瓶颈并不总是出现在模型上,而是在上游的数据本身。正如 Pragmatic Institute 的一份报告显示的那样:“数据从业者将 80% 的宝贵时间花在寻找、清洗和组织数据上。”neu喜好网-记录每日喜好的科技时尚娱乐生活

虽然对数据科学家在清洗和准备数据上所花时间的估计各不相同,但业界共识十分明确:数据科学家在数据准备上投入的时间远远超过分析和建模。neu喜好网-记录每日喜好的科技时尚娱乐生活

数据准备工作包括提取、转换和联结大量结构化和半结构化数据,而这些数据常常分布在庞大的 lakehouse 环境中。这构成了问题,因为大部分工作仍然依赖通用型 CPU 运作。neu喜好网-记录每日喜好的科技时尚娱乐生活

根据 AMD 的数据,当前市场大约支持 200 万个 CPU 插槽用于数据分析工作负载,预计到 2027 年这一数字将增至 400-500 万。这实在是大量通用硬件在支撑着那些并非为 PB 级规模运行而设计的查询。neu喜好网-记录每日喜好的科技时尚娱乐生活

正如 Sity 所解释的:“企业在传统 CPU 扩展方面已经遇到了瓶颈。我们看到超大规模数据中心和云服务提供商每年花费数十亿美元仅仅为了维护其数据分析基础设施,但回报却趋于平缓。”neu喜好网-记录每日喜好的科技时尚娱乐生活

增加更多的 CPU 只能带来有限的提升,因为扩展集群会呈指数级增加节点之间的通信开销 — 这会引发性能、功耗和成本的障碍。在某个临界点之后,成本(包括硬件、能源和数据中心场地费用)开始超过性能收益。这种情况在对延迟十分敏感且陈旧数据会降低模型准确度的 AI 环境中尤为严重。neu喜好网-记录每日喜好的科技时尚娱乐生活

专用数据分析处理器的崛起 NeuroBlade 的 Accelerator 大幅提升性能并缩短查询时间,从而释放数据分析平台的全部潜力。通过将操作从 CPU 卸载到专用硬件上 — 这一过程称为 pushdown — 它提升了每台服务器的计算能力,使得比起仅依赖 CPU 的部署,使用更小规模的集群也能更快速地处理大规模数据集。neu喜好网-记录每日喜好的科技时尚娱乐生活

正如 Sity 指出的:“通用型 CPU 无法足够迅速地扩展以应对不断增长的性能需求和数据量,这迫使组织不得不扩大集群规模。”neu喜好网-记录每日喜好的科技时尚娱乐生活

“专用硬件通过提升每台服务器在数据分析上的计算能力,减少了对大型集群的依赖,并有助于避免诸如网络开销、功率限制和操作复杂性等瓶颈。”neu喜好网-记录每日喜好的科技时尚娱乐生活

在 TPC-H 基准测试 ( 用于评估决策支持系统的标准 ) 中,Sity 指出 NeuroBlade 的 Accelerator 其性能约比领先的向量化 CPU 实现 ( 例如 Presto-Velox ) 快 4 倍左右。neu喜好网-记录每日喜好的科技时尚娱乐生活

NeuroBlade 的主张是,通过将数据分析任务从 CPU 卸载至专用硅芯片,企业可以通过更少的基础设施获得更优的性能 — 从而一步到位地降低成本、能耗和复杂性。neu喜好网-记录每日喜好的科技时尚娱乐生活

云服务商也开始关注 这种转变并非孤立发生。NeuroBlade 已与 Amazon Web Services 紧密合作,将其 Analytics Accelerator 集成到 AWS EC2 F2 实例中,使云端客户也能使用这一产品 — 尤其适用于金融数据分析或 AI 模型更新等领域。neu喜好网-记录每日喜好的科技时尚娱乐生活

Sity 告诉我:“这种朝着定制数据分析处理方向的转变,与我们曾见证 GPU 在 AI 中的崛起非常相似。首先是超大规模数据中心先行跟进,然后更广泛的市场便会随之而来。”neu喜好网-记录每日喜好的科技时尚娱乐生活

主要的半导体厂商也在纷纷涉足这一领域。随着 Nvidia 在 AI 加速器市场的统治地位不断加强,像 Intel 和 AMD 等公司正寻求在相关计算领域站稳脚跟。这意味着,专用数据分析硬件可能成为下一个重要的 AI 竞争战场。neu喜好网-记录每日喜好的科技时尚娱乐生活

AI 与数据分析的融合 不久之前,AI 和数据分析分别运行在不同的系统上。但如今,多亏称为 data lakehouse 的平台,公司可以利用单一数据源同时支持仪表板和机器学习模型。neu喜好网-记录每日喜好的科技时尚娱乐生活

尽管这种设置可以提高效率,但也带来了新的风险。如果 lakehouse 中的数据混乱或过时,可能会拖慢一切进程 — 从业务报告到 AI 性能均受影响。neu喜好网-记录每日喜好的科技时尚娱乐生活

传统的商业智能工具是为人工操作而构建,并且通常按照预定时间表运行。而 AI 系统则始终在线,需要持续不断的数据 — 实时、大规模的数据。neu喜好网-记录每日喜好的科技时尚娱乐生活

这就是为何加快数据准备和处理速度不再是可有可无的选择,而是保持模型新鲜、洞察力相关以及决策迅速的关键所在。neu喜好网-记录每日喜好的科技时尚娱乐生活

Sity 解释道:“通过减少数据准备和查询所需的时间,企业能够更频繁地更新模型,缩短反馈周期,并促进更好的实时决策,特别是在金融、网络安全、医疗保健等高风险行业。”neu喜好网-记录每日喜好的科技时尚娱乐生活

重新思考数据分析基础设施 需要明确的是,数据分析加速市场仍处于初期阶段。因此,其普及可能还需要时间。企业在核心基础设施上的决策往往较为缓慢,而且更换硅芯片从来都不简单。但迹象已经初现:大型云集成、令人鼓舞的基准测试以及越来越多的共识,即 AI 的真正价值不仅取决于模型规模,还取决于你如何高效地移动和理解数据。neu喜好网-记录每日喜好的科技时尚娱乐生活

Sity 指出:“我们正处于专用计算新纪元的开端。正如 GPU 通过提供专为神经网络设计的硬件而改变了 AI 一样,数据分析处理器将通过解决查询执行中的特定瓶颈来变革我们处理数据的方式。”neu喜好网-记录每日喜好的科技时尚娱乐生活

对于那些在将 AI 投资转化为实际投资回报上苦苦挣扎的组织来说,解决数据分析瓶颈或许是第一个真正的突破口。未来的 AI 胜利不仅仅取决于更大的模型 — 而在于你能多高效地将正确的数据传递给它们。neu喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
董宇辉终究难逃宿命

董宇辉终究难逃宿命

直播带货业已进入到一场深度洗牌

11-19 67阅读
当代年轻人,仍然想要“接盘”房地产

当代年轻人,仍然想要“接盘”房地

10月份,住建部数据显示,本月商品房

11-19 66阅读
努比亚 Z70 Ultra 手机更多参数曝光,后置 50Mp 35mm 大底主摄

努比亚 Z70 Ultra 手机更多参数

11 月

11-19 62阅读
华为强机皇!Mate 70系列关键信息汇总:外观/性能/影像揭秘

华为强机皇!Mate 70系列关键信息

华为Mate

11-19 59阅读
李子柒归来,牵扯许多人情世故?

李子柒归来,牵扯许多人情世故?

“这

11-19 55阅读
徐璐发文疑似分, 原来是误会一场!

徐璐发文疑似分, 原来是误

徐璐和张铭恩的恋情自从搬上节目

11-19 62阅读
中国电影海外推广研讨会在豆园(Doc.Park)举行

中国电影海外推广研讨会在

  近日,原国家广电总局电影局原巡

11-19 57阅读
《山水间的家》:围屋承古韵,老区展新颜!

《山水间的家》:围屋承古韵

  从赣南大地到沂蒙山区,乡土文化在

11-19 60阅读
李子柒被质疑漆器做假,发出过敏照片力证,全身红肿成“电视机”

李子柒被质疑漆器做假,发出

2024年11月12日停更长达三年的李子柒

11-19 68阅读
中国第一网红李子柒:不希望青少年梦想当网红

中国第一网红李子柒:不希望

11月19日消息,近

11-19 67阅读
咸鱼之王兑换码2024,咸鱼之王礼包码100连抽兑换码最新分享

咸鱼之王兑换码2024,咸鱼

咸鱼之王是一款非常魔性的放置挂机手游

11-19 63阅读
以撒的结合全结局及其达成条件详细介绍

以撒的结合全结局及其达成

以撒的结合是一款剧情和玩法都非常精彩

11-19 92阅读
ePSXe模拟器安卓版怎么导入游戏?ePSXe模拟器安卓版导入游戏教程

ePSXe模拟器安卓版怎么导

ePSXe模拟器安卓版是一款非常棒的可以

11-19 93阅读
原子之心展览园地下区域死者位置介绍

原子之心展览园地下区域死

原子之心游戏里面玩家可以与所有死者对

11-19 62阅读
原神疗养观察任务流程|原神疗养观察攻略

原神疗养观察任务流程|原

原神疗养观察是游戏中须弥地区魔神任务

11-19 61阅读