接力李飞飞 谷歌虚拟世界生成器上线 将和马斯克联手做AI游戏?

5个月前 生活 37观看
摘要《科创板日报》12月5日讯(编辑 宋子乔) 前有“AI教母”李飞飞,后有谷歌DeepMind,大模型的热度还在,大世界模型又成为焦点。继李飞飞旗下企业World Labs展示一图生成3D世界后,当地时间12月4日,谷歌DeepMind发布了大型基础世界

《科创板日报》12月5日讯(编辑 宋子乔) 前有“AI教母”李飞飞,后有谷歌DeepMind,大模型的热度还在,大世界模型又成为焦点。v9T喜好网-记录每日喜好的科技时尚娱乐生活

继李飞飞旗下企业World Labs展示一图生成3D世界后,当地时间12月4日,谷歌DeepMind发布了大型基础世界模型Genie 2,可通过单张图片或文字描述生成3D场景。v9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

相关论文

时间仅相隔一天,两个AI工具的功能非常相似,核心在于:v9T喜好网-记录每日喜好的科技时尚娱乐生活

1、一张图生成可交互3D场景:据谷歌介绍,用户只需提供一张图片(由Imagen 3生成)和文字描述,Genie 2就能生成一个可交互的3D场景,并以720p的清晰度呈现。通过鼠标和键盘控制,用户可以在其中自由探索长达1分钟,大多数能稳定运行10到20秒。v9T喜好网-记录每日喜好的科技时尚娱乐生活

2、空间记忆能力:Genie 2生成的内容能让当用户在虚拟环境中移动时,即使某些区域暂时不在视野范围内,系统也能保持这些区域的一致性。World Labs同样可以做到这一点,即使你把视线移开然后又回来,已生成的3D场景也不会改变。v9T喜好网-记录每日喜好的科技时尚娱乐生活

3、扩图能力:Genie 2能在过程中实时创造出符合逻辑的新场景内容,并且可以在长达一分钟的时间内保持整个世界的一致性。这指该AI工具的可预测3D场景能力,World Labs也能让AI工具仅凭部分图片就能“扩图”,想象出整个3D场景。v9T喜好网-记录每日喜好的科技时尚娱乐生活

下面是谷歌给出的demo范例:v9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

2D图生3D场景(可多个视角)

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

可交互(包括与生成的NPC交互)

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

空间记忆能力

不过,似乎李飞飞的模型才做到了真正理解物理世界。据机器之心报道,普林斯顿AI创新中心创始人、主任,终身教授王梦迪表示:“李飞飞的World Labs和谷歌的Genie2看上去都是从一张图片生成可以交互的三维场景,但有本质区别。Genie2还是video diffusion(视频扩散),每一帧的生成都是pixel prediction(像素预测),并通过额外的用户输入的guidance(引导)来影响下一帧的概率分布。而飞飞的World Labs是更进一步挖掘世界的物理本质:从图片出发,估计图片中不同景物的深度和相对关系,生成了更加物理世界的3D环境建模,不仅仅是可互动视频”。v9T喜好网-记录每日喜好的科技时尚娱乐生活

另外,一个细微区别是,World Labs将应用领域侧重于影视制作,而谷歌侧重于游戏制作。Genie 2发布后,DeepMind CEO Demis Hassabis直接邀请马斯克一起制作AI游戏,马斯克回复:Cool。马斯克此前声称,xAI将开办一家AI游戏工作室。v9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

重视游戏场景并不意外,DeepMind也承认了这点:“从我们早期与Atari游戏的合作,到AlphaGo和AlphaStar等突破性成果,再到我们与游戏开发者合作研究通用智能体,游戏一直是我们研究的重心。”v9T喜好网-记录每日喜好的科技时尚娱乐生活

作为Youtube的母公司,谷歌还拥有Youtube里上亿小时的游戏视频数据。v9T喜好网-记录每日喜好的科技时尚娱乐生活

值得注意的是,Genie 2为代表的大世界模型能快速创建无限多样的、可操控的3D环境,这些3D环境可用于训练和评估具身智能体。这意味着其能为具身智能研究提供丰富的虚拟训练数据。v9T喜好网-记录每日喜好的科技时尚娱乐生活

谷歌研究人员Jack Parker-Holder给出了两个实例,其中,一张图上有一个红门和一个蓝门,向模型输入不同的语言指令,可以生成不同的3D场景,走向红门或蓝门。v9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

在更复杂的三门场景中,Genie 2依然很好地理解了指令并生成了研究人员想要的3D动图。v9T喜好网-记录每日喜好的科技时尚娱乐生活

imagev9T喜好网-记录每日喜好的科技时尚娱乐生活

上述研究人员表示,相信Genie 2可以解锁具身智能体的下一波能力。v9T喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
叮咚买菜上岸、巨头加码火拼,前置仓大战重启

叮咚买菜上岸、巨头加码火

近年来,一度

11-19 66阅读
时隔4年重返白宫,特朗普的变与不变

时隔4年重返白宫,特朗普的

11-19 65阅读
最强标准版旗舰新机选哪款?荣耀Magic7满足你的高要求

最强标准版旗舰新机选哪款

随着科技的飞速发展,智能手机已成为人

11-19 65阅读
真我GT7 Pro正式发布:骁龙8至尊版质价比之王 首销3599元起

真我GT7 Pro正式发布:骁龙8

2024年11月4日—中国 · 深圳—真我

11-19 67阅读
截至目前全国累计已有644座换电站支持乐道换电

截至目前全国累计已有644

近日从蔚来官方获悉,NIO Power在10月2

11-19 61阅读
商业人像皮肤精修

商业人像皮肤精修

【修

11-19 67阅读
东方美学脉络,在这些品牌里重新生长

东方美学脉络,在这些品牌里

从2023年初开始,我国陆续出台或恢复各

11-19 64阅读
品类案例速递|小红书童装童鞋夏日高光案例合集

品类案例速递|小红书童装

带你走入奢侈品与服饰行业的潮流前线

11-19 64阅读
经典匠艺,至臻隽永 | La Koradior「花间蝶兰」巴黎发布秀

经典匠艺,至臻隽永 | La Ko

赢家时尚(3709.HK)旗下高端女装品牌

11-19 64阅读
汉服除了交领上襦,还有一款非常舒适时尚的圆领袍(汉服除了交领上襦)

汉服除了交领上襦,还有一款

圆领袍,顾名思义,就是领口为圆形的长

11-19 66阅读
王毅会见印度外长苏杰生

王毅会见印度外长苏杰生

外交

11-19 69阅读
低温寒潮天气来袭 多地多措并举确保“菜篮子”量足价稳

低温寒潮天气来袭 多地多

央视网消息:随着天气逐

11-19 67阅读
在抓落实上狠下功夫(金台潮声)

在抓落实上狠下功夫(金台潮

“强化跟踪问效,推动改

11-19 63阅读
我很努力的

我很努力的

我很努力的。 不管学习,还是工作。

11-19 70阅读
浙江诸暨重大刑案54岁在逃 警方悬赏3万追凶 村民:他杀妻并碎尸

浙江诸暨重大刑案54岁在逃

潇湘

11-19 82阅读