估算 AI 能耗极为棘手――但这份报告作出了一次尝试

3周前 科技 8观看
摘要 一个对 AI 情有独钟的人每天可能消耗的电量足以让微波炉连续运行超过三小时。实际上这种损耗可能更甚,因为许多公司对其 AI 模型的详细信息保密。MIT Technology Review 与大约二十位跟踪 AI

一个对 AI 情有独钟的人每天可能消耗的电量足以让微波炉连续运行超过三小时。实际上这种损耗可能更甚,因为许多公司对其 AI 模型的详细信息保密。cQd喜好网-记录每日喜好的科技时尚娱乐生活

MIT Technology Review 与大约二十位跟踪 AI 能耗的研究人员交谈,同时开展了自己的实验,得出结论称总体能耗及其对气候的影响极难准确掌握,但这并未阻止他们进行尝试。cQd喜好网-记录每日喜好的科技时尚娱乐生活

报告作者与 Hugging Face 的研究人员合作后确定,使用开源 Llama 3.1 8B 引擎生成响应时,每次查询大约消耗 57 焦耳的能量 ( 8B 表示该引擎使用 80 亿参数 )。考虑到制冷及其他能耗需求后,报告指出该数字应翻倍,使得该模型每次查询约需 114 焦耳 —— 相当于微波炉运行大约十分之一秒。而像 Llama 3.1 405B 这类更大型的模型,每次响应大约需要 6,706 焦耳 —— 相当于微波炉运行八秒。cQd喜好网-记录每日喜好的科技时尚娱乐生活

换句话说,某个模型的规模在其能耗中起着至关重要的作用。尽管其真正规模仍是未知数,但据估计 OpenAI 的 GPT-4 参数数量远超一万亿,这意味着其单次查询的能耗很可能远高于测试中 Llama 模型的查询能耗。cQd喜好网-记录每日喜好的科技时尚娱乐生活

值得指出的是,上述数据均针对文本类响应。MIT Technology Review 提到,由于 AI 生成照片所用的模型规模较小,再加上扩散相比推理更为节能,因此其能耗远低于文本响应。cQd喜好网-记录每日喜好的科技时尚娱乐生活

另一方面,AI 视频生成则是一个巨大的能耗窟。cQd喜好网-记录每日喜好的科技时尚娱乐生活

据 Hugging Face 的研究人员透露,为生成一段时长五秒、每秒 16 帧的视频,CogVideoX AI 视频生成模型所消耗的能量高达 3.4 百万焦耳 —— 这相当于微波炉运行一小时或骑电动自行车行驶 38 英里。cQd喜好网-记录每日喜好的科技时尚娱乐生活

报告指出,“可以肯定的是,领先的 AI 视频生成器在创作长达 30 秒的炫目且超现实的视频时,其能耗将显著更高。”cQd喜好网-记录每日喜好的科技时尚娱乐生活

基于这些数据,报告作者编制了一个估算模型,分析了一个习惯性依赖生成式模型处理各种任务的人的日常 AI 能耗。每天提 15 个问题、尝试生成 10 张图片以及制作 3 段适合 Instagram 发布的五秒视频,总共大约消耗 2.9 千瓦时的电量 —— 相当于微波炉连续运行三个半小时。cQd喜好网-记录每日喜好的科技时尚娱乐生活

OpenAI 估计,全球每周有数亿人在使用 ChatGPT。cQd喜好网-记录每日喜好的科技时尚娱乐生活

研究人员主要关注我们较为了解的开源大语言模型,但像 OpenAI 和 Google 这样的大公司对其模型的规模和应用范围保密,这严重阻碍了对 AI 能耗的准确估算。cQd喜好网-记录每日喜好的科技时尚娱乐生活

DIY AI 能耗估算cQd喜好网-记录每日喜好的科技时尚娱乐生活

Hugging Face 的工程师 Julien Delavande 上个月发布了一款名为 ChatUI-Energy 的工具,该工具可以接入任何开源 AI 模型以对其能耗进行估算。cQd喜好网-记录每日喜好的科技时尚娱乐生活

该工具能够同时以瓦时和焦耳为单位估算能耗,并提供与现实中能耗等价物的比较,例如智能手机电池消耗量、微波炉运行时间等。cQd喜好网-记录每日喜好的科技时尚娱乐生活

ChatUI-Energy 的在线演示版采用了阿里巴巴的 Qwen2.5-VL-7B-instruct 模型,并提供了其他几个可供试用的模型。其源代码也已在 GitHub 上公开,方便与其他开源模型配合使用。cQd喜好网-记录每日喜好的科技时尚娱乐生活

虽然该工具并非完美无缺,和其他 AI 能耗建模工具一样,它在计算过程中做出了许多假设,而我们实验中这些假设并不总是一致。不过,Hugging Face 的 AI 与气候领域负责人 Sasha Luccioni 告诉我们,此项目旨在展示 AI 能耗透明度迫切需求的重要性。cQd喜好网-记录每日喜好的科技时尚娱乐生活

“我们真正需要的是减少猜测、增加透明度,以及像这种工具,让 AI 用户获取有关使用 AI 对地球带来成本的信息,” Luccioni 在邮件中表示,“就像购买产品时必须显示成分信息一样。”cQd喜好网-记录每日喜好的科技时尚娱乐生活

当涉及到衡量 CO2 排放时,Tech Review 的文章指出,情况则更加复杂。由于可再生与非可再生能源的组合在不同地区和不同时段内存在巨大差异 (例如夜间无法利用太阳能),因此测算变得更加困难。cQd喜好网-记录每日喜好的科技时尚娱乐生活

报告还没有涉及 prompt caching 技术 —— 一种生成式模型常用来存储响应,在用户提出相同或相似问题时直接反馈,从而降低 AI 模型能耗的技术。cQd喜好网-记录每日喜好的科技时尚娱乐生活

高能耗,绝非廉价cQd喜好网-记录每日喜好的科技时尚娱乐生活

不论上述限制如何,有一点是毋庸置疑的:为了支持全球日益增长的 AI 需求,消耗的能量非常巨大。而且,其中相当一部分能源以碳排放的形式进入大气,其用途也存有争议。cQd喜好网-记录每日喜好的科技时尚娱乐生活

正如 Tech Review 报告所指出,目前数据中心能耗的激增是在多年来相对稳定的消耗基础上出现的,这得益于持续而稳定的工作负载和不断提升的能效。2023 年,数据中心消耗了爱尔兰超过五分之一的电力。预计到 2030 年,全球数据中心的能耗将超过当前水平的两倍,并在下个十年伊始超过整个日本国家的能耗,而其中最大的推动因素正是 AI。cQd喜好网-记录每日喜好的科技时尚娱乐生活

多年以来,科技公司一直在谈论绿色环保,并长期向公众保证他们的数据中心不会对环境造成威胁,但随着 AI 的加入,诸如 Microsoft 和 Google 等巨头宣称的净零目标正逐渐遥不可及。cQd喜好网-记录每日喜好的科技时尚娱乐生活

最近,《The Register》对此进行了大量报道,而我们的报道与 MIT Technology Review 报告得出的结论基本一致:AI 背后的能耗远比科技公司愿意让我们相信的要“脏”。cQd喜好网-记录每日喜好的科技时尚娱乐生活

总体来看,预计到本十年末,数据中心将排放 25 亿吨温室气体,这一数字是生成式 AI 成为最新热点后排放量的三倍。cQd喜好网-记录每日喜好的科技时尚娱乐生活

更令人担忧的是,这些数字所依赖的数据基础极不稳固,正如 Tech Review 报告所指出的。cQd喜好网-记录每日喜好的科技时尚娱乐生活

“这使得即使是那些负责预测能耗需求的人也不得不拼凑一幅缺失无数碎片的拼图,从而几乎无法为 AI 对能源网和排放的未来影响作出准确规划,”报告中写道。cQd喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
北上广深一线城市爱买啥车 北京喜欢比亚迪、上海广州更爱特斯拉

北上广深一线城市爱买啥车 北京

11月19日

11-19 81阅读
苹果揭秘自研芯片成功原因:竞争对手没法用最新尖端技术

苹果揭秘自研芯片成功原因:竞争对

11月1

11-19 88阅读
华为Mate 70已经到店:数量有限 抢到赚到

华为Mate 70已经到店:数量有限 抢

11月19日

11-19 91阅读
小米发布超级智能驾驶技术Hyper Autonomous Driving(HAD)

小米发布超级智能驾驶技术Hyper

11-19 82阅读
大佬喊话,AI寒冬已来?

大佬喊话,AI寒冬已来?

OpenA

11-19 71阅读
金鸡奖这一夜,人情冷暖、江湖职位,在王骁身上体现得极尽描摹

金鸡奖这一夜,人情冷暖、江

11-19 88阅读
张晚意新剧《我知道我爱你》今日开播,他化身宠物医生

张晚意新剧《我知道我爱你

12月25日,张晚意的新剧《我知道我

11-19 84阅读
央视剧评|《西北岁月》:书写西北革命史的壮丽篇章

央视剧评|《西北岁月》:书写

  正在总台央视综合频道(CCTV-1)黄金

11-19 83阅读
《芝麻胡同》郭秉惠人设崩了?她竟嫌弃起杏儿的出身

《芝麻胡同》郭秉惠人设崩

《芝麻胡同》中郭秉惠前期是一个

11-19 76阅读
王宝强新片《金陵福》立项:慈禧御用魔术师的传奇人生

王宝强新片《金陵福》立项

11月13日消息,国

11-19 87阅读
木内ラムネ作品《月のお気に召すまま》在别册玛格丽特完結

木内ラムネ作品《月のお気

木内ラム

11-19 85阅读
三国群英传7秘籍大全_三国群英传7所有秘籍代码一览

三国群英传7秘籍大全_三国

三国群英传7游戏支持秘籍功能,玩家可以

11-19 79阅读
帝国时代4秘籍大全2024_帝国时代4国家崛起秘籍作弊码大全(含隐藏秘籍)

帝国时代4秘籍大全2024_帝

帝国时代4是帝国时代4系列游戏的最新版

11-19 123阅读
原神林中遇变任务怎么做?原神林中遇变主线攻略

原神林中遇变任务怎么做?

林中遇变是原神须弥地区魔神主线任务的

11-19 79阅读
饥荒使用猪房无限刷猪的详细操作方法

饥荒使用猪房无限刷猪的详

在饥荒的游戏设定中,猪房每过3-4天会刷

11-19 85阅读