世界上最大的芯片创下 AI 速度记录,超越 NVIDIA

2周前 科技 6观看
摘要 今天我亲手握住了世界上最大的计算机芯片。虽然它的体积令人印象深刻,但其速度更为惊人,也更为重要。大多数计算机芯片都很小,只有邮票大小甚至更小。相比之下, Cerebras WSE (Wafer Scale Engin

今天我亲手握住了世界上最大的计算机芯片。虽然它的体积令人印象深刻,但其速度更为惊人,也更为重要。大多数计算机芯片都很小,只有邮票大小甚至更小。相比之下, Cerebras WSE (Wafer Scale Engine) 是一个巨大正方形,每边长 8.5 英寸或 22 厘米,而最新型号在单个芯片上拥有惊人的 40 亿个晶体管。正是因为有了这数十亿个晶体管,WSE 才创造了 AI 推理操作的世界速度记录,比一个大体上性能相当的 NVIDIA 集群快约 2.5 倍。A5b喜好网-记录每日喜好的科技时尚娱乐生活

“这是全球最快的推理速度,” Cerebras 首席信息安全官 Naor Penso 今天在温哥华 Web Summit 上对我说。 “上周 NVIDIA 宣布在 Llama 4 上实现了每秒 1,000 个 token 的速度,这令人印象深刻。而我们今天刚刚发布的基准测试达到了每秒 2,500 个 token。”A5b喜好网-记录每日喜好的科技时尚娱乐生活

如果你对这些概念感到陌生,可以把“推理”理解为思考或行动:根据你的输入或提示构建句子、图像或视频。把“token”看作思维的基本单元:一个单词、一个字符或一个符号。A5b喜好网-记录每日喜好的科技时尚娱乐生活

AI 引擎每秒能处理的 token 越多,它返回结果的速度也就越快。而速度至关重要。也许对你个人来说意义不大,但当企业客户希望在购物车中加入 AI 引擎,以便即时告诉你只需再加一种配料就能做出完美的韩式烧烤牛肉塔可时,他们必须能够为成千上万的人迅速提供服务。A5b喜好网-记录每日喜好的科技时尚娱乐生活

有趣的是,速度即将变得更加关键。A5b喜好网-记录每日喜好的科技时尚娱乐生活

我们正迈入一个代理时代,届时 AI 将能为我们执行复杂的多步骤任务,例如规划并预订去奥斯汀观看一级方程式比赛的周末旅行。代理并非魔法:他们对待大任务的方式和你一样……一步一步来。也就是说,需要将一个庞大的任务分解为 40、50 或甚至 100 个子任务,这就意味着工作量会大幅增加。A5b喜好网-记录每日喜好的科技时尚娱乐生活

“AI 代理需要处理更多的工作,而且各个任务之间需要相互通信,” Penso 告诉我。 “你不能忍受推理速度缓慢。”A5b喜好网-记录每日喜好的科技时尚娱乐生活

WSE 上的 40 亿个晶体管正是实现这种高速性能的关键部分。作为对比,英特尔 Core i9 拥有 33.5 亿个晶体管,而 Apple M2 Max 芯片也仅提供 67 亿个晶体管。但构建出高速计算怪兽的关键不仅仅在于晶体管数量,更在于系统的协同布局:将所有组件整合在同一芯片上,同时配备 44GB 的最快型 RAM(内存)。A5b喜好网-记录每日喜好的科技时尚娱乐生活

“AI 计算需要大量的内存,” Penso 说。 “NVIDIA 需要外部存储,而使用 Cerebras 你不需要外部存储。”A5b喜好网-记录每日喜好的科技时尚娱乐生活

独立机构 Artificial Analysis 验证了这一速度数据,他们称在 Llama 4 上测试该芯片时达到了每秒 2,522 个 token,而 NVIDIA Blackwell 的速度只有每秒 1,038 个 token。A5b喜好网-记录每日喜好的科技时尚娱乐生活

“我们测试了数十家供应商,而 Cerebras 是唯一在 Meta 旗舰模型推理中表现优于 Blackwell 的解决方案,” Artificial Analysis 首席执行官 Micah Hill-Smith 表示。A5b喜好网-记录每日喜好的科技时尚娱乐生活

WSE 芯片展示了计算机芯片设计的一次有趣演进。A5b喜好网-记录每日喜好的科技时尚娱乐生活

自 1950 年代开始制造集成电路和 1960 年代开始制造微处理器以来,CPU 曾长期主导着计算领域。直到最近,GPU(图形处理单元)才从图形和游戏领域的辅助工具转变为 AI 开发中关键的处理组件。Cerebras 首席营销官 Julie Shin 告诉我,WSE 并非采用 x86 或 ARM 架构,而是一种全新架构,用于加速 GPU 计算。A5b喜好网-记录每日喜好的科技时尚娱乐生活

“这不是一项渐进式技术,” 她补充道。 “这是芯片领域的又一次跨越性飞跃。”A5b喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
那些大牌商场,正被本土商超“摁在地上摩擦”

那些大牌商场,正被本土商超“摁在

几大高奢商场在上半年的业绩都不

11-19 80阅读
智己汽车携手Momenta联合打造“一段式端到端直觉智驾大模型”

智己汽车携手Momenta联合打造“

【锋巢网】10月28日,在品牌智能驾

11-19 81阅读
‌努比亚Z70 Ultra定档11月21日发布‌

‌努比亚Z70 Ultra定档11月21日

11-19 83阅读
“知春路时代”的创业者,被回购条款绊了一跤

“知春路时代”的创业者,被回购条

这次

11-19 83阅读
港式茶餐厅“大退潮”?

港式茶餐厅“大退潮”?

被誉

11-19 73阅读
雷佳音:再获金鸡影帝,拥抱四美台上哽咽,不忘向张艺谋要手机号

雷佳音:再获金鸡影帝,拥抱四

11-19 83阅读
徐璐发文疑似分, 原来是误会一场!

徐璐发文疑似分, 原来是误

徐璐和张铭恩的恋情自从搬上节目

11-19 82阅读
全球部长大使论坛在澳门举行,共同探讨国际电影合作新方向

全球部长大使论坛在澳门举

  近日,上汽大众帕萨特Pro之夜第二

11-19 78阅读
演员许文广《故乡的泥土》央八开播 首演农民角色获赞好真实

演员许文广《故乡的泥土》

  近日,由原著作者田运章担任总编剧,

11-19 79阅读
曝何炅KTV陪大姐喝酒视频,被搂肩一脸不悦,知情者曝真相

曝何炅KTV陪大姐喝酒视频,

11月18日,主持人何炅成为备受热议的对

11-19 81阅读
2024年真实有效能赚钱的app有哪些?盘点赚钱软件app排行榜前十名!

2024年真实有效能赚钱的ap

随着移动互联网的快速发展,赚钱的方式也

11-19 321阅读
万代魂系高端钢普拉大展 解体匠机第三弹高达Mk-II再参展

万代魂系高端钢普拉大展

万代高端模玩魂系列展会《TAMASHII NA

11-19 81阅读
饥荒联机版怎么调中文?饥荒联机版中文设置方法

饥荒联机版怎么调中文?饥荒

饥荒联机版是目前很多玩家在玩的一个版

11-19 93阅读
饥荒超全影怪封印方法一览

饥荒超全影怪封印方法一览

在饥荒游戏的设定里面,玩家san值掉到0之

11-19 83阅读
《荒野大镖客:救赎》PC版显卡性能实测:缺乏诚意的移植!帧生成效果开倒车

《荒野大镖客:救赎》PC版显

11-19 83阅读