接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

7个月前 生活 55观看
摘要《科创板日报》12月5日讯(编辑 宋子乔) 前有“AI教母”李飞飞,后有谷歌DeepMind,大模型的热度还在,大世界模型又成为焦点。继李飞飞旗下企业World Labs展示一图生成3D世界后,当地时间12月4日,谷歌DeepMind发布了大型基础世界

《科创板日报》12月5日讯(编辑 宋子乔) 前有“AI教母”李飞飞,后有谷歌DeepMind,大模型的热度还在,大世界模型又成为焦点。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

继李飞飞旗下企业World Labs展示一图生成3D世界后,当地时间12月4日,谷歌DeepMind发布了大型基础世界模型Genie 2,可通过单张图片或文字描述生成3D场景。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

相关论文

时间仅相隔一天,两个AI工具的功能非常相似,核心在于:Bwy喜好网-记录每日喜好的科技时尚娱乐生活

1、一张图生成可交互3D场景:据谷歌介绍,用户只需提供一张图片(由Imagen 3生成)和文字描述,Genie 2就能生成一个可交互的3D场景,并以720p的清晰度呈现。通过鼠标和键盘控制,用户可以在其中自由探索长达1分钟,大多数能稳定运行10到20秒。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

2、空间记忆能力:Genie 2生成的内容能让当用户在虚拟环境中移动时,即使某些区域暂时不在视野范围内,系统也能保持这些区域的一致性。World Labs同样可以做到这一点,即使你把视线移开然后又回来,已生成的3D场景也不会改变。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

3、扩图能力:Genie 2能在过程中实时创造出符合逻辑的新场景内容,并且可以在长达一分钟的时间内保持整个世界的一致性。这指该AI工具的可预测3D场景能力,World Labs也能让AI工具仅凭部分图片就能“扩图”,想象出整个3D场景。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

下面是谷歌给出的demo范例:Bwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

2D图生3D场景(可多个视角)

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

可交互(包括与生成的NPC交互)

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

空间记忆能力

不过,似乎李飞飞的模型才做到了真正理解物理世界。据机器之心报道,普林斯顿AI创新中心创始人、主任,终身教授王梦迪表示:“李飞飞的World Labs和谷歌的Genie2看上去都是从一张图片生成可以交互的三维场景,但有本质区别。Genie2还是video diffusion(视频扩散),每一帧的生成都是pixel prediction(像素预测),并通过额外的用户输入的guidance(引导)来影响下一帧的概率分布。而飞飞的World Labs是更进一步挖掘世界的物理本质:从图片出发,估计图片中不同景物的深度和相对关系,生成了更加物理世界的3D环境建模,不仅仅是可互动视频”。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

另外,一个细微区别是,World Labs将应用领域侧重于影视制作,而谷歌侧重于游戏制作。Genie 2发布后,DeepMind CEO Demis Hassabis直接邀请马斯克一起制作AI游戏,马斯克回复:Cool。马斯克此前声称,xAI将开办一家AI游戏工作室。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

重视游戏场景并不意外,DeepMind也承认了这点:“从我们早期与Atari游戏的合作,到AlphaGo和AlphaStar等突破性成果,再到我们与游戏开发者合作研究通用智能体,游戏一直是我们研究的重心。”Bwy喜好网-记录每日喜好的科技时尚娱乐生活

作为Youtube的母公司,谷歌还拥有Youtube里上亿小时的游戏视频数据。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

值得注意的是,Genie 2为代表的大世界模型能快速创建无限多样的、可操控的3D环境,这些3D环境可用于训练和评估具身智能体。这意味着其能为具身智能研究提供丰富的虚拟训练数据。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

谷歌研究人员Jack Parker-Holder给出了两个实例,其中,一张图上有一个红门和一个蓝门,向模型输入不同的语言指令,可以生成不同的3D场景,走向红门或蓝门。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

在更复杂的三门场景中,Genie 2依然很好地理解了指令并生成了研究人员想要的3D动图。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

imageBwy喜好网-记录每日喜好的科技时尚娱乐生活

上述研究人员表示,相信Genie 2可以解锁具身智能体的下一波能力。Bwy喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
金融数智化呼唤存力变革 “先进存力”有望打出中国科技新名片

金融数智化呼唤存力变革

《科创板日报》11月18日讯(记者 张洋洋)

11-19 103阅读
小K播早报|第二十一届中国国际半导体博览会今日开幕 华为11月26日召开Mate 70系列手机发布会

小K播早报|第二十一届中国

《科创板日报》11月18日讯 今日科创板

11-19 97阅读
超能力量,索泰×索尼影业《毒液:最后一舞》

超能力量,索泰×索尼影业《

作为全球领先的显卡和电脑硬件制造商

11-19 107阅读
疑似OPPO A5 Pro通过认证,或搭载骁龙7s Gen3

疑似OPPO A5 Pro通过认证,

作为OPPO方面今年早些时候推出的A系

11-19 97阅读
基于10.5代液晶显示生产线,京东方领跑大屏画质巅峰

基于10.5代液晶显示生产线

近日洛图科技公布的最新数据表明,2024

11-19 117阅读
商业人像皮肤精修

商业人像皮肤精修

【修

11-19 103阅读
双十一不止电商战,桃源π打造沉浸式购物体验

双十一不止电商战,桃源π打

当前正值一年一度的“双十一”大促,定

11-19 104阅读
探寻高端生活方式品牌的数字转型之路,VOGUE Business峰会在米兰召开

探寻高端生活方式品牌的数

9月27日,VOGUE Business携手独家战

11-19 102阅读
汉服除了交领上襦,还有一款非常舒适时尚的圆领袍(汉服除了交领上襦)

汉服除了交领上襦,还有一款

圆领袍,顾名思义,就是领口为圆形的长

11-19 97阅读
迪欧官网(迪欧logo)

迪欧官网(迪欧logo)

复古风格女士皮鞋怎么搭配好看?复古

11-19 101阅读
上班略痛苦

上班略痛苦

上班略痛苦。 不想上班的日子没几

11-19 100阅读
被电瓶车知道了

被电瓶车知道了

刚发了三千工资。 下了班被电瓶车

11-19 120阅读
带女朋友回去

带女朋友回去

跟爸妈说我要带女朋友回去。 怕爸

11-19 98阅读
还有几天七夕

还有几天七夕

还有几天七夕,忍不住表白了。 问:真

11-19 113阅读
最近高温

最近高温

最近高温,买了个咖啡很冰,瓶上全是水。

11-19 96阅读