Meta发布开源大模型Llama 4:首次采用“混合专家”架构

1个月前 科技 8观看
摘要 当地时间周六(4月5日),美国科技巨头Meta推出了其强大的开源人工智能(AI)模型Llama 4,Llama 4目前有两个的版本,名为Scout和Maverick。Meta表示,Llama 4是一个多模态大模型,它能够处理和整合各种类型

当地时间周六(4月5日),美国科技巨头Meta推出了其强大的开源人工智能(AI)模型Llama 4,Llama 4目前有两个的版本,名为Scout和Maverick。Avs喜好网-记录每日喜好的科技时尚娱乐生活

Meta表示,Llama 4是一个多模态大模型,它能够处理和整合各种类型的数据,包括文本、视频、图像和音频,并且可以在这些格式之间转换内容。Avs喜好网-记录每日喜好的科技时尚娱乐生活

Meta发布开源大模型Llama 4:首次采用“混合专家”架构Avs喜好网-记录每日喜好的科技时尚娱乐生活

Llama 4系列首次采用了混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,可以将模型划分为多个专注于特定任务的“专家”子模型。Avs喜好网-记录每日喜好的科技时尚娱乐生活

据Meta介绍,Scout和Maverick不仅是其“迄今为止先进的模型”,也是“多模态领域中先进的模型”。Avs喜好网-记录每日喜好的科技时尚娱乐生活

据悉,Scout有170亿个活跃参数、16个“专家”模型、1090亿个总参数;Maverick也有170亿个活跃参数,但有128个“专家”模型,总参数量高达4000亿。Avs喜好网-记录每日喜好的科技时尚娱乐生活

除了Scout和Maverick之外,Meta还在训练功能更加强大的Behemoth,称其为世界上智能的大模型之一,是“新模型中的教师”。Avs喜好网-记录每日喜好的科技时尚娱乐生活

所有这些模型都经过了 “大量未标注的文本、图像和视频数据” 的训练,以使它们具备 “广泛的视觉理解能力”。Avs喜好网-记录每日喜好的科技时尚娱乐生活

Scout 和Maverick模型在Llama.com网站以及Meta的合作伙伴处均可公开获取,也可以在WhatsApp、Messenger、Instagram Direct上获取。Avs喜好网-记录每日喜好的科技时尚娱乐生活

Meta表示,其人工智能助手Meta AI已在40个国家更新为使用Llama 4模型。目前,多模态功能仅在美国以英语提供。Avs喜好网-记录每日喜好的科技时尚娱乐生活

该公司首席执行官扎克伯格周六发表讲话称:“我们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。”Avs喜好网-记录每日喜好的科技时尚娱乐生活

“我很久以前就说过,我认为开源人工智能将成为领先的模型,而随着Llama 4的推出,这一切已经开始发生。”他说,“Meta AI今天得到了一次重大升级。”Avs喜好网-记录每日喜好的科技时尚娱乐生活

Meta首席产品官Chris Cox上个月表示,Llama 4的推出将让AI智能体变得更强大,使其具备更高水平的推理和行动能力。Avs喜好网-记录每日喜好的科技时尚娱乐生活

据知情人士透露,Llama 3已经推出一年了,而Llama4之所以迟迟未能发布,是因为在开发过程中,该模型在技术基准上没有达到Meta的预期,尤其是在推理和数学任务方面。此外,Meta也担心其模型在模拟人类语音对话方面不如OpenAI的模型。Avs喜好网-记录每日喜好的科技时尚娱乐生活

Meta计划今年斥资高达650亿美元扩大其人工智能基础设施,然而投资者正向大型科技公司施压,要求它们展示投资带来的实际回报。Avs喜好网-记录每日喜好的科技时尚娱乐生活

Meta发布开源大模型Llama 4:首次采用“混合专家”架构Avs喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
问界理想的新擂台:问界M8 VS 理想L8

问界理想的新擂台:问界M8 VS 理想

要说近年来什么行业最“卷”,相信

11-19 63阅读
看懂小米2024年Q3财报:史上强 手握现金1516亿元

看懂小米2024年Q3财报:史上强 手

11月18日

11-19 70阅读
护眼的2K旗舰!Redmi K80是行业唯一支持全亮度DC的2K屏手机

护眼的2K旗舰!Redmi K80是行业唯

11月18日

11-19 77阅读
摸着Meta过河,百度再战AI眼镜

摸着Meta过河,百度再战AI眼镜

“Goo

11-19 64阅读
哪个正常人能拒绝一只毛茸茸的「电子猫咪」?

哪个正常人能拒绝一只毛茸茸的「

猫咪

11-19 68阅读
《永夜星河》三折叠剧情,怎么「折」都有面儿

《永夜星河》三折叠剧情,怎

作者 / 郑容和编辑 / 朱   婷运营

11-19 61阅读
《假日暖洋洋》姚晨与小11岁白宇演 姐弟恋 ,别说,还真甜(假日暖洋洋姚晨与小11岁白宇演)

《假日暖洋洋》姚晨与小11

有生之年,欣喜相逢。 我是温暖,欢迎

11-19 65阅读
千古玦尘凤染和是凤焰什么关系?白烁是月弥的转世吗?

千古玦尘凤染和是凤焰什么

《千古诀尘》中凤染和是凤焰什么

11-19 63阅读
中国第一网红李子柒:不希望青少年梦想当网红

中国第一网红李子柒:不希望

11月19日消息,近

11-19 71阅读
王宝强新片《金陵福》立项:慈禧御用魔术师的传奇人生

王宝强新片《金陵福》立项

11月13日消息,国

11-19 66阅读
LUIDA’S BAR推出《DQIII》合作菜单

LUIDA’S BAR推出《DQIII

为纪念HD-

11-19 65阅读
重装机兵4失落密码大全_重装机兵4所有失落密码一览

重装机兵4失落密码大全_重

失落密码是《重装机兵4》游戏里面的一

11-19 185阅读
帝国时代2高清版秘籍,帝国时代2高清重制版(HD版)秘籍

帝国时代2高清版秘籍,帝国

帝国时代2高清版是最近很多玩家在玩的

11-19 64阅读
饥荒超全影怪封印方法一览

饥荒超全影怪封印方法一览

在饥荒游戏的设定里面,玩家san值掉到0之

11-19 66阅读
界面设计全面升级 NVIDIA app实际体验:五大靓点堪称N卡必备搭档

界面设计全面升级 NVIDIA

11-19 71阅读