没有博士学位却开启了GPT时代,奥特曼盛赞Alec Radford,爱因斯坦级天才

7个月前 科技 40观看
摘要图片来源:由无界AI生成几天前,OpenAI 宣布组织结构调整,裂变成了一家营利性公司和一个非营利组织。与此同时,OpenAI CEO 山姆・奥特曼在 X 上用一个系列推文感谢了 OpenAI 的多位元老。之后,他又单独发了一条推文对一位「


wtO喜好网-记录每日喜好的科技时尚娱乐生活

图片来源:由无界AI生成图片来源:由无界AI生成

几天前,OpenAI 宣布组织结构调整,裂变成了一家营利性公司和一个非营利组织。与此同时,OpenAI CEO 山姆・奥特曼在 X 上用一个系列推文感谢了 OpenAI 的多位元老。wtO喜好网-记录每日喜好的科技时尚娱乐生活

之后,他又单独发了一条推文对一位「爱因斯坦级别的天才」表达了特别感谢:Alec Radford。奥特曼还表示 Radford 是他一直以来最喜欢的人,并指出 AI 领域当今的进步很多都可以追溯到他的研究成果。上个月 20 号,传出了 Radford 即将离开 OpenAI 进行独立研究的消息,详情可参阅机器之心的报道《刚刚,OpenAI 元老级研究员 Alec Radford 离职,他主导了 GPT-1、GPT-2 的研发》。wtO喜好网-记录每日喜好的科技时尚娱乐生活

根据谷歌学术的数据,Alec Radford 论文的引用量现在已经超过了 19 万,并拥有多篇超过 1 万引用的重要论文。wtO喜好网-记录每日喜好的科技时尚娱乐生活

事实上,早在一年多以前,就已经有人指出了这位当时还声名不显的研究者的巨大贡献:他是 GPT 原始论文等多篇奠基性研究成果的第一作者!而更让人惊讶的是,他并没有博士学位,也没有硕士学位;并且他的许多研究成果最早都是在 Jupyter Notebook 中完成的。wtO喜好网-记录每日喜好的科技时尚娱乐生活

新年伊始,Alec Radford 的故事又再一次火遍了 AI 社交网络。人们在谈到他时莫不称颂。wtO喜好网-记录每日喜好的科技时尚娱乐生活


wtO喜好网-记录每日喜好的科技时尚娱乐生活


wtO喜好网-记录每日喜好的科技时尚娱乐生活

下面我们就来简单了解下这位谦逊的天才的人生故事吧。wtO喜好网-记录每日喜好的科技时尚娱乐生活


wtO喜好网-记录每日喜好的科技时尚娱乐生活

Alec Radford 的人生故事


wtO喜好网-记录每日喜好的科技时尚娱乐生活

Alec Radford 是自然语言处理和计算机视觉领域的研究者。曾在 OpenAI 担任机器学习开发者 / 研究员。在此之前,他曾担任 indico 公司的研究主管。wtO喜好网-记录每日喜好的科技时尚娱乐生活

在 OpenAI 担任研究员期间,他参与撰写了多篇关于语言模型生成式预训练(GPT)的论文,并在 NeurIPS、ICLR、ICML 和 Nature 等著名会议和期刊上发表过许多论文。 wtO喜好网-记录每日喜好的科技时尚娱乐生活

他也曾活跃在 X/Twitter 上,在那里分享他对人工智能各个领域的见解和观点。遗憾的是,2021 年 5 月之后他就再未在 X 上现身,最后一条推文是在回复 Anthropic 的研究者 Simon Kornblith,解释 GPT-1 层宽度设置为 768 的原因。wtO喜好网-记录每日喜好的科技时尚娱乐生活

LinkedIn 显示,2011 年 - 2016 年, Alec Radford 就读于富兰克林・W・奥林工程学院,并获得学士学位。这是一所位于美国马萨诸塞州尼达姆(Needham)的私立工程学院,以其非常低的录取率和精英化教育著称。wtO喜好网-记录每日喜好的科技时尚娱乐生活

该校的课程结构非常独特,其学术体系「欧林三角」包括科学和工程基础、创业以及文学。学校也仅提供四种学位:ME(机械工程)、ECE(电子与计算机工程)、CS(计算机科学)、BCE(生物医药工程)。wtO喜好网-记录每日喜好的科技时尚娱乐生活

奥林工程学院非常重视实用教育,将知识和实际生活中的挑战和课题联系起来,鼓励学生追求自己的兴趣和激情。wtO喜好网-记录每日喜好的科技时尚娱乐生活

本科时期,Alec Radford 就对机器学习充满热情,并与同学一起参加 Kaggle 比赛获得了成功,最终拿到风投 。2013 年,Alec Radford 和伙伴在宿舍创立了 indico ,为企业提供机器学习解决方案。wtO喜好网-记录每日喜好的科技时尚娱乐生活

作为公司的研究主管,Alec Radford 主要从事识别、开发和改进有前景的图像和文本机器学习技术,并将其从研究阶段转化为更广泛的行业应用。wtO喜好网-记录每日喜好的科技时尚娱乐生活

在那里,他进行了生成对抗网络(GAN)相关研究,并提出 DCGAN 以改善 GAN 的可训练性,这也是 GAN 领域的一个重要突破。 wtO喜好网-记录每日喜好的科技时尚娱乐生活

由于波士顿地区在 AI 领域的影响力已被西海岸科技巨头超越,加上资源限制,2016 年,Radford 选择加入 OpenAI 。wtO喜好网-记录每日喜好的科技时尚娱乐生活

他形容这份新工作「类似于加入研究生课程」,有一个开放、低压力的 AI 研究环境。wtO喜好网-记录每日喜好的科技时尚娱乐生活

Radford 比较低调,不愿与媒体接触。他通过邮件回应了《连线》关于他在 OpenAI 早期工作的提问。他表示,最感兴趣的是让神经网络与人类进行清晰的对话。wtO喜好网-记录每日喜好的科技时尚娱乐生活

他认为,当时的聊天机器人(从 ELIZA 到 Siri 和 Alexa)都存在局限性。他的目标是探索语言模型在各种任务、设置、领域和场景中的应用可能。wtO喜好网-记录每日喜好的科技时尚娱乐生活

他的第一个实验是使用 20 亿条 Reddit 评论来训练语言模型,虽然失败,但 OpenAI 给予了足够的试错空间,也成为后续一系列革命性突破的开始,如大家熟知的初代 GPT,还主导了 GPT-2 的研发等。wtO喜好网-记录每日喜好的科技时尚娱乐生活

这些工作为现代大语言模型奠定了重要基础,以致于《连线》在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色,比作 Larry Page 发明 PageRank。有趣的是, PageRank 虽然是 Larry Page 在斯坦福攻读博士期间的产物,但他此后再也没有回去完成博士学位。wtO喜好网-记录每日喜好的科技时尚娱乐生活

不仅如此,Alec Radford 还参与了 GPT-3 论文的撰写、以及 GPT-4 的预训练数据和架构研究工作。wtO喜好网-记录每日喜好的科技时尚娱乐生活

2024 年年末,在 OpenAI 赚尽眼球的 12 天连发的最后一天前,Alec Radford 即将离开 OpenAI 的消息传出,但没有任何消息透露这是否与 OpenAI 的组织结构调整有关。wtO喜好网-记录每日喜好的科技时尚娱乐生活

遗憾的是,对于他之后的职业计划,我们所知的仅仅是他将成为一位独立研究者。或许他将进入大学获得一个博士学位,也或许他会在沉寂一段时间之后带着新的震撼性研究成果问世。wtO喜好网-记录每日喜好的科技时尚娱乐生活

不管怎样,Alec Radford 参与创造的未来正在到来。无论今年是否会如奥特曼曾经预测的那样实现 AGI,2025 年注定会是 AI 领域至关重要的一年。wtO喜好网-记录每日喜好的科技时尚娱乐生活


wtO喜好网-记录每日喜好的科技时尚娱乐生活

OpenAI Sam Altman GPT
展开全文
猜你感兴趣
小杨哥缺席,抖音还能玩转双11吗?

小杨哥缺席,抖音还能玩转双11吗?

采写/尹冰雪‍编辑/万天南“

11-19 136阅读
小鹏汇天“陆地航母”2024 广州车展完成全球公开载人首飞

小鹏汇天“陆地航母”2024 广州

11-19 120阅读
‌2026款本田Passport硬派越野车亮相:外观硬朗,搭载V6发动机‌

‌2026款本田Passport硬派越野车

11-19 111阅读
1元水,巨头们的游戏

1元水,巨头们的游戏

今年

11-19 140阅读
生成式AI热潮之下,应届毕业生的机会何在?

生成式AI热潮之下,应届毕业生的机

图片来源:由无界AI生成“互联网充

11-19 124阅读
《芝麻胡同》郭秉惠人设崩了?她竟嫌弃起杏儿的出身

《芝麻胡同》郭秉惠人设崩

《芝麻胡同》中郭秉惠前期是一个

11-19 101阅读
44岁董洁:曾是无数人的“白月光”,却陷入中年尴尬

44岁董洁:曾是无数人的“白

董洁,她曾经是无数人心中的白月光,但也

11-19 109阅读
不愧是中国第一网红!李子柒油管日收入预估超8万:停更期间单月广告分成超78万

不愧是中国第一网红!李子柒

11月14日消息,据

11-19 102阅读
苦等七年终于来了!《白夜破晓》长丰集结海报出炉:潘粤明主演

苦等七年终于来了!《白夜破

11月17日消息,时

11-19 99阅读
《最后生还者》新季明年春首播

《最后生还者》新季明年春

HBO及HBO Max首

11-19 109阅读
AI技术将一峰大二原作动画《電人アロー》黑白影像彩色化

AI技术将一峰大二原作动画

由一峰大

11-19 134阅读
《人中之龙8外传 夏威夷海盗》介绍 “海盗”战斗风格及海盗主题游戏要素

《人中之龙8外传 夏威夷海

在“人中之龙”系列最新作《人中之龙8外

11-19 130阅读
和平精英国际服怎么选择国家?和平精英国际服改国籍方法

和平精英国际服怎么选择国

《和平精英国际服》是蓝洞和腾讯联合出

11-19 206阅读
原子之心武器蓝图攻略_全武器蓝图获取方法详细介绍

原子之心武器蓝图攻略_全

原子之心游戏里面玩家可以通过获取武器

11-19 112阅读
原子之心3826设施所有死者所在位置一览

原子之心3826设施所有死者

在原子之心游戏设定中,死者在生命体征消

11-19 133阅读