Meta发布开源大模型Llama 4:首次采用“混合专家”架构

4个月前 科技 26观看
摘要 当地时间周六(4月5日),美国科技巨头Meta推出了其强大的开源人工智能(AI)模型Llama 4,Llama 4目前有两个的版本,名为Scout和Maverick。Meta表示,Llama 4是一个多模态大模型,它能够处理和整合各种类型

当地时间周六(4月5日),美国科技巨头Meta推出了其强大的开源人工智能(AI)模型Llama 4,Llama 4目前有两个的版本,名为Scout和Maverick。lMV喜好网-记录每日喜好的科技时尚娱乐生活

Meta表示,Llama 4是一个多模态大模型,它能够处理和整合各种类型的数据,包括文本、视频、图像和音频,并且可以在这些格式之间转换内容。lMV喜好网-记录每日喜好的科技时尚娱乐生活

Meta发布开源大模型Llama 4:首次采用“混合专家”架构lMV喜好网-记录每日喜好的科技时尚娱乐生活

Llama 4系列首次采用了混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,可以将模型划分为多个专注于特定任务的“专家”子模型。lMV喜好网-记录每日喜好的科技时尚娱乐生活

据Meta介绍,Scout和Maverick不仅是其“迄今为止先进的模型”,也是“多模态领域中先进的模型”。lMV喜好网-记录每日喜好的科技时尚娱乐生活

据悉,Scout有170亿个活跃参数、16个“专家”模型、1090亿个总参数;Maverick也有170亿个活跃参数,但有128个“专家”模型,总参数量高达4000亿。lMV喜好网-记录每日喜好的科技时尚娱乐生活

除了Scout和Maverick之外,Meta还在训练功能更加强大的Behemoth,称其为世界上智能的大模型之一,是“新模型中的教师”。lMV喜好网-记录每日喜好的科技时尚娱乐生活

所有这些模型都经过了 “大量未标注的文本、图像和视频数据” 的训练,以使它们具备 “广泛的视觉理解能力”。lMV喜好网-记录每日喜好的科技时尚娱乐生活

Scout 和Maverick模型在Llama.com网站以及Meta的合作伙伴处均可公开获取,也可以在WhatsApp、Messenger、Instagram Direct上获取。lMV喜好网-记录每日喜好的科技时尚娱乐生活

Meta表示,其人工智能助手Meta AI已在40个国家更新为使用Llama 4模型。目前,多模态功能仅在美国以英语提供。lMV喜好网-记录每日喜好的科技时尚娱乐生活

该公司首席执行官扎克伯格周六发表讲话称:“我们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。”lMV喜好网-记录每日喜好的科技时尚娱乐生活

“我很久以前就说过,我认为开源人工智能将成为领先的模型,而随着Llama 4的推出,这一切已经开始发生。”他说,“Meta AI今天得到了一次重大升级。”lMV喜好网-记录每日喜好的科技时尚娱乐生活

Meta首席产品官Chris Cox上个月表示,Llama 4的推出将让AI智能体变得更强大,使其具备更高水平的推理和行动能力。lMV喜好网-记录每日喜好的科技时尚娱乐生活

据知情人士透露,Llama 3已经推出一年了,而Llama4之所以迟迟未能发布,是因为在开发过程中,该模型在技术基准上没有达到Meta的预期,尤其是在推理和数学任务方面。此外,Meta也担心其模型在模拟人类语音对话方面不如OpenAI的模型。lMV喜好网-记录每日喜好的科技时尚娱乐生活

Meta计划今年斥资高达650亿美元扩大其人工智能基础设施,然而投资者正向大型科技公司施压,要求它们展示投资带来的实际回报。lMV喜好网-记录每日喜好的科技时尚娱乐生活

Meta发布开源大模型Llama 4:首次采用“混合专家”架构lMV喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
丰田公开搭载氢发动机的混合动力车,加氢一次续航约 250 公里

丰田公开搭载氢发动机的混合动力

11 月

11-19 117阅读
超美小直屏!OPPO Reno13外观赏析

超美小直屏!OPPO Reno13外观赏析

“长得好

11-19 123阅读
李子柒复更,三大平台提前过年

李子柒复更,三大平台提前过年

停更1

11-19 104阅读
中银300亿母基金加速推进

中银300亿母基金加速推进

银行

11-19 106阅读
大模型公司们创业未半,技术主心骨们却先弃船回大厂了?

大模型公司们创业未半,技术主心骨

图片来源:由无界AI生成2024年下半

11-19 123阅读
脱离海马后,他们的那段故事就像是一场梦

脱离海马后,他们的那段故事

11-19 126阅读
“资源弃子”杨幂还是被踢出了局,和嘉行解约的背后是被闺蜜插刀

“资源弃子”杨幂还是被踢

11-19 110阅读
泫雅&龙俊亨婚后首次公开近况:日本甜蜜旅行中!捧爱心蛋糕紧贴合影

泫雅&龙俊亨婚后首次

歌手泫雅和龙俊亨结婚一个月

11-19 100阅读
郭德纲外甥大婚排场大!岳云鹏张云雷引人关注,新娘面相惹争议

郭德纲外甥大婚排场大!岳云

11月18日,德云社相声演员王九龙大婚,他

11-19 113阅读
不愧是中国第一网红!李子柒油管日收入预估超8万:停更期间单月广告分成超78万

不愧是中国第一网红!李子柒

11月14日消息,据

11-19 101阅读
动作射击新作《Kusan: City Of Wolves》公布 2026年发售

动作射击新作《Kusan: Cit

韩国开发商CIRCLEfromDOT与英国发行商

11-19 114阅读
和平精英跳伞怎么快速落地?和平精英跳伞技巧

和平精英跳伞怎么快速落地

《和平精英》游戏中玩家将通过跳伞进入

11-19 130阅读
保卫萝卜4太空穿越4关通关攻略

保卫萝卜4太空穿越4关通关

保卫萝卜4是最新发布的游戏,相信喜欢保

11-19 129阅读
元气骑士前传兑换码2024_元气骑士前传新手礼包码

元气骑士前传兑换码2024_

最近元气骑士前传这款游戏十分火爆,那么

11-19 108阅读
原子之心展览园啁啾表位置_展览园所有啁啾表所在位置一览

原子之心展览园啁啾表位置

啁啾表是原子之心游戏里面的一个特殊收

11-19 131阅读