百度最早发现大模型中的scaling law?不用怀疑,对中国AI要有自信

7个月前 科技 47观看
摘要 今日,媒体纷纷报道一条新闻:百度最早发现大模型核心理论scaling law。其源头是英文报纸南华早报报道称,尽管美国在AI模型创新方面一直被视为领先者,但最新的讨论显示,中国在探索这些概念上可能更为超前。业界

今日,媒体纷纷报道一条新闻:百度最早发现大模型核心理论scaling law。其源头是英文报纸南华早报报道称,尽管美国在AI模型创新方面一直被视为领先者,但最新的讨论显示,中国在探索这些概念上可能更为超前。业界意识到,百度在OpenAI之前就发现了Scaling Law。H7z喜好网-记录每日喜好的科技时尚娱乐生活

1.jpgH7z喜好网-记录每日喜好的科技时尚娱乐生活

Scaling Law也被称为“尺度定律”,被业界认为是大模型预训练第一性原理,即训练数据和模型参数越大,模型的智能能力就越强。OpenAI在2020年发表了论文《Scaling Laws for Neural Language Models》,自那以后,这个概念已成为AI研究的基石。H7z喜好网-记录每日喜好的科技时尚娱乐生活

推出ChatGPT系列大模型,让OpenAI一鸣惊人,成为AI领域炙手可热的明星,加之美国Google、Meta、xAI等公司不断推出性能强大的大模型,使得不少国人潜意识认为美国在AI领域大幅领先。事实上,中国AI技术并不弱,一直以来处于并跑状态,这也是为何2023年出现“百模大战”的原因。而“百度率先发现Scaling Law”的往事曝光,反映出中国在AI领域的深厚底蕴。H7z喜好网-记录每日喜好的科技时尚娱乐生活

不用怀疑,已经“实锤”H7z喜好网-记录每日喜好的科技时尚娱乐生活

百度比OpenAI更早发现Scaling Law,很多国人即欢欣鼓舞,又有一些疑惑。毕竟OpenAI如日中天,对其发起任何挑战都需要强有力的证据。H7z喜好网-记录每日喜好的科技时尚娱乐生活

从各方报道看,这一事件已经“实锤”。主要有三个方面的佐证:H7z喜好网-记录每日喜好的科技时尚娱乐生活

首先是AI行业大牛、Anthropic创始人Dario Amodei在11月初的播客节目中提到,2014年与吴恩达在百度研究AI的时候,他就已经发现了模型发展的规律Scaling Law。而Dario Amodei曾于2014年11月-2015年10月期间在百度硅谷实验室工作,并担任过OpenAI研究副总裁,堪称当事人,其言论极具分量。H7z喜好网-记录每日喜好的科技时尚娱乐生活

2.jpgH7z喜好网-记录每日喜好的科技时尚娱乐生活

其次是Meta研究员、康奈尔大学博士候选人Jack Morris在X(推特)上公开力挺:“Scaling Law的原始研究来自2017年的百度,而不是2020年的OpenAI”。随后有媒体人贴出了百度在2017年发表的《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》论文,详细讨论了机器翻译、语言建模等领域的Scaling现象,进一步证明其言论。H7z喜好网-记录每日喜好的科技时尚娱乐生活

此外还有一个重要证据:之前曾在Open AI工作,参与了GPT-3等重要项目开发的AI专家Gwern Branwen,也经常在公开场合提起:百度的这篇论文确实被忽视了。H7z喜好网-记录每日喜好的科技时尚娱乐生活

百度在AI理论领域的投入和贡献可见一斑。此后,百度继续向前走,并在国内率先推出了大语言模型文心一言。中国互联网络信息中心发布的《生成式人工智能发展应用发展报告(2024)》显示,文心一言已经成为国内使用率第一的生成式人工智能平台。H7z喜好网-记录每日喜好的科技时尚娱乐生活

百度往事:招揽多位AI大牛H7z喜好网-记录每日喜好的科技时尚娱乐生活

百度能领先于OpenAI发现Scaling Law,与其早早投资AI研究、招揽AI人才是分不开的,包括来自全球各地的AI大牛。H7z喜好网-记录每日喜好的科技时尚娱乐生活

除了上述提到的Dario Amodei,百度还招揽了国内更知名的AI顶级科学家、原谷歌大脑创始人吴恩达,当年亦引发媒体热议。H7z喜好网-记录每日喜好的科技时尚娱乐生活

此外据媒体之前爆料,AI教父、2024年度诺贝尔物理学奖得主Geoffrey Hinton,也在百度招揽之列。2012年,李彦宏亲自派人前往美国向其递出了橄榄枝,甚至惊动了硅谷的两家巨头Google和微软纷纷发出邀请。Hinton由于年龄等因素考量,最后留在了美国,百度才遗憾地失之交臂。H7z喜好网-记录每日喜好的科技时尚娱乐生活

3.jpgH7z喜好网-记录每日喜好的科技时尚娱乐生活

尽管外部对百度与Scaling Law的认知才刚刚被爆料,但这也让业界意识到,百度此前对包括大模型在内的AI技术已有深厚积累。资料显示,百度早在2019年就发布了第一代文心大模型,几乎与OpenAI处于同一时期。2023年以来,大模型如雨后春笋般冒出,百度始终处在领跑地位。H7z喜好网-记录每日喜好的科技时尚娱乐生活

例如,中国软件评测中心《人工智能大语言模型技术发展研究报告(2024年)》显示,文心大模型技术、产品、应用全面领跑;沙利文《2024年中国大模型能力评测》显示,文心大模型稳居国产大模型首位,获4项第一。百度AI技术的10多年积累,在2024年厚积薄发。H7z喜好网-记录每日喜好的科技时尚娱乐生活

中国AI产业展现创新力H7z喜好网-记录每日喜好的科技时尚娱乐生活

实际上,不仅是百度,整个中国AI产业,处在高度繁荣的发展状态,国内AI头部公司无论是技术创新、产品创新还是应用创新,与海外头部公司并没有明显的差距,整体处在同一水平线上。H7z喜好网-记录每日喜好的科技时尚娱乐生活

据上海社科院最新发布的《全球信息社会蓝皮书:全球信息社会发展报告(2024)》显示,中国、美国、欧盟在人工智能研究、创新、教育、应用等方面体量相当,人工智能仍然是中国、美国、欧盟三极为主的世界发展格局。H7z喜好网-记录每日喜好的科技时尚娱乐生活

百度作为代表性AI公司之一,更是与Google、OpenAI一道,共同被沙利文2024全球AI全景报告评为“AI-Native Giant”,处于领导者地位。H7z喜好网-记录每日喜好的科技时尚娱乐生活

4.jpgH7z喜好网-记录每日喜好的科技时尚娱乐生活

当前,AI时代已经来临,展现出变革经济社会的巨大潜能,AI产业竞争愈加火热。AI技术已成为大国科技竞争的胜负手,美国不断使出盘外招限制我国AI技术发展,候任总统特朗普更是计划任命一位人工智能部长(AI czar),打响AI军备竞赛。H7z喜好网-记录每日喜好的科技时尚娱乐生活

在这一大背景下,国人要对国内AI产业发展抱有信心。在这场长跑中,包括百度在内,有很多中国公司正在高强度投资AI技术创新,并已取得大量成果,将推动AI产业发展走向繁荣,成为经济高质量转型发展的助推器。H7z喜好网-记录每日喜好的科技时尚娱乐生活

H7z喜好网-记录每日喜好的科技时尚娱乐生活

H7z喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
今年双11大变样,淘宝京东不卷了!

今年双11大变样,淘宝京东不卷了!

在被电商平台造出的第16个年头,双

11-19 114阅读
小杨哥缺席,抖音还能玩转双11吗?

小杨哥缺席,抖音还能玩转双11吗?

采写/尹冰雪‍编辑/万天南“

11-19 136阅读
稳定7100MB/s!雷克沙ARES 8TB SSD评测:机箱里再也没有机械硬盘的位置了

稳定7100MB/s!雷克沙ARES 8TB SSD

一、前言:

11-19 118阅读
有你吗 比亚迪抽车中奖名单公布:共90台仰望U8、腾势Z9 GT、豹8豪车

有你吗 比亚迪抽车中奖名单公布:

11月19日

11-19 137阅读
小米发布超级智能驾驶技术Hyper Autonomous Driving(HAD)

小米发布超级智能驾驶技术Hyper

11-19 124阅读
太太太灵了吧,这是什么「好东西」

太太太灵了吧,这是什么「好

作者 / 西贝偏北运营 / 狮子座还记得

11-19 104阅读
龙波 始终亲力亲为,哪个岗位有需要就扑在哪里 优秀新闻工作者 编辑⑨(龙波始终亲力亲为)

龙波 始终亲力亲为,哪个岗

为激励全市新闻战线认真践行“四向

11-19 109阅读
ENHYPEN的第二张正规专辑后续《ROMANCE:UNTOLD-daydream-》刷新了历代K-POP后续专辑中创下了最高初动销量新纪录

ENHYPEN的第二张正规专辑

18日,据Hanteo Chart榜单数

11-19 104阅读
TXT迷你七辑《The Star Chapter: SANCTUARY》进入专辑主榜"Billboard 200"(11月23日次)第2位

TXT迷你七辑《The Star Ch

17日,据美国Billboard榜单

11-19 128阅读
73岁张纪中为四胎女儿办满月宴 晒全家福庆祝

73岁张纪中为四胎女儿办满

11月18日导演张

11-19 108阅读
真人互动恋爱影游《欢迎光临!心动咖啡厅》Steam页面开放 发行日期待定

真人互动恋爱影游《欢迎光

今日(11月16日),真人互动恋爱影游《欢迎

11-19 120阅读
原神超越时间的虚影全流程解析|超越时间的虚影隐藏任务攻略

原神超越时间的虚影全流程

超越时间的虚影是原神须弥沙漠地区的隐

11-19 107阅读
饥荒体温过高怎么办?饥荒所有降低体温的方法分享

饥荒体温过高怎么办?饥荒

饥荒体温过高怎么办?饥荒游戏里面拥有体

11-19 115阅读
饥荒超详细驯服牦牛技巧分享

饥荒超详细驯服牦牛技巧分

在饥荒游戏里面玩家可以驯服牦牛,而且根

11-19 119阅读
饥荒使用猪房无限刷猪的详细操作方法

饥荒使用猪房无限刷猪的详

在饥荒的游戏设定中,猪房每过3-4天会刷

11-19 114阅读