分析发现 ‘推理’ AI 模型性能提升可能很快放缓

3个月前 科技 14观看
摘要 Epoch AI(非盈利 AI 研究机构)的一项分析表明,AI 行业可能无法长期从推理 AI 模型中获得大幅性能提升。报告发现,推理模型的进展可能最快在一年内出现放缓。例如 OpenAI 的 o3 等推理模型在近几

Epoch AI(非盈利 AI 研究机构)的一项分析表明,AI 行业可能无法长期从推理 AI 模型中获得大幅性能提升。报告发现,推理模型的进展可能最快在一年内出现放缓。RdU喜好网-记录每日喜好的科技时尚娱乐生活

例如 OpenAI 的 o3 等推理模型在近几个月内在 AI 基准测试中取得了显著进步,特别是在测评数学和编程技能的测试中。这些模型能够将更多计算资源 (computing) 应用于问题,从而提升性能,但缺点是完成任务所需的时间比传统模型更长。RdU喜好网-记录每日喜好的科技时尚娱乐生活

推理模型的开发流程是先利用海量数据训练一个传统模型,然后应用称为强化学习 (reinforcement learning) 的技术,该技术能有效为模型在解决难题时提供 “反馈” 。RdU喜好网-记录每日喜好的科技时尚娱乐生活

据 Epoch 指出,截至目前,像 OpenAI 这样的前沿 AI 实验室尚未在推理模型训练的强化学习阶段投入大量计算资源。RdU喜好网-记录每日喜好的科技时尚娱乐生活

情况正在改变。OpenAI 表示,在训练 o3 时所使用的计算资源大约是其前身 o1 的 10 倍,Epoch 推测这其中的大部分计算资源都用于了强化学习。OpenAI 研究员 Dan Roberts 最近透露,公司未来计划将强化学习作为优先方向,投入的计算资源将远超初始模型训练所需的量。RdU喜好网-记录每日喜好的科技时尚娱乐生活

不过,据 Epoch 称,在强化学习中可投入的计算资源仍然存在上限。RdU喜好网-记录每日喜好的科技时尚娱乐生活

根据 Epoch AI 的分析,推理模型训练的扩展可能会放缓RdU喜好网-记录每日喜好的科技时尚娱乐生活

图片来源: Epoch AIRdU喜好网-记录每日喜好的科技时尚娱乐生活

Epoch 分析师及该报告作者 Josh You 解释说,传统 AI 模型训练带来的性能提升目前每年大约提升四倍,而强化学习带来的性能增长在 3 到 5 个月内可实现十倍增长。他进一步指出,推理训练的进展 “很可能在 2026 年与前沿水平趋于一致”。RdU喜好网-记录每日喜好的科技时尚娱乐生活

Epoch 的分析基于若干假设,并部分采纳了 AI 公司高管的公开评论。但分析也论证了,推理模型的扩展可能因除计算资源以外的原因而面临挑战,其中包括研究所需的高昂固定成本。RdU喜好网-记录每日喜好的科技时尚娱乐生活

Josh You 写道:“如果研究需要持续的固定开销,推理模型可能无法按照预期大幅扩展。快速扩展计算资源可能是推动推理模型进步的一个非常重要因素,因此值得密切关注。”RdU喜好网-记录每日喜好的科技时尚娱乐生活

任何迹象表明推理模型在不久的将来可能达到某种上限,都可能让已在这类模型研发上投入巨大资源的 AI 行业感到担忧。研究已表明,虽然推理模型的运行成本极高,但它们存在严重缺陷,例如比某些传统模型更容易产生误导性信息。RdU喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
研究人员开发自动识别古代楔形文字片的AI软件

研究人员开发自动识别古代楔形文

11月2

11-19 123阅读
小米手机下次相机版本更新增加水印颜色选项,老机型也会版本迭代

小米手机下次相机版本更新增加水

11 月

11-19 111阅读
‌华为、OPPO、vivo、小米联手打造统一链接平台:简化App下载流程‌

‌华为、OPPO、vivo、小米联手打

11-19 126阅读
“鲶鱼”雷军:抖音粉丝突破3000万,换一种方式卷同行?

“鲶鱼”雷军:抖音粉丝突破3000万

在流

11-19 94阅读
咖啡界“老二”闭店上百家,星巴克们开始慌了?

咖啡界“老二”闭店上百家,星巴克

星巴

11-19 106阅读
百部青少年教育公益微电影《星光好少年之少年王维》开机仪式在北京顺利举行

百部青少年教育公益微电影

  2024年11月9日,由泰安东升公益慈

11-19 101阅读
演员许文广《故乡的泥土》央八开播 首演农民角色获赞好真实

演员许文广《故乡的泥土》

  近日,由原著作者田运章担任总编剧,

11-19 102阅读
电视剧《三大队》今日开播,秦昊演刑警队长程兵

电视剧《三大队》今日开播

由张译领衔主演,王骁、曹炳琨、魏

11-19 118阅读
要钱干嘛!比尔盖茨支持对富豪加税:我愿放弃62%的财富

要钱干嘛!比尔盖茨支持对富

11月11日消息,据

11-19 102阅读
日本导演神山健治执导 动画电影《指环王:洛汗之战》内地定档12月14日

日本导演神山健治执导 动

11月19日消息,今

11-19 117阅读
遥远未来的末世乌托邦,2D动作解谜游戏《默途》移动版即将上线

遥远未来的末世乌托邦,2D动

《默途》是由梦匠工作室开发的一款2D

11-19 119阅读
动作射击新作《Kusan: City Of Wolves》公布 2026年发售

动作射击新作《Kusan: Cit

韩国开发商CIRCLEfromDOT与英国发行商

11-19 109阅读
空洞骑士地图探索顺序_空洞骑士速通地图探索顺序

空洞骑士地图探索顺序_空

《空洞骑士》是一款以探索为核心的2D动

11-19 103阅读
原神已然来临的花神诞祭任务攻略

原神已然来临的花神诞祭任

原神已然来临的花神诞祭是原神须弥地区

11-19 118阅读
饥荒超详细驯服牦牛技巧分享

饥荒超详细驯服牦牛技巧分

在饥荒游戏里面玩家可以驯服牦牛,而且根

11-19 111阅读