阿里视频生成大模型万相2.1开源!效果超Sora,消费级显卡就能跑

5个月前 科技 29观看
摘要 2月27日消息,大模型开源的风吹到了视频生成大模型。阿里云日前放出重磅消息:万相,开源!阿里云视频生成大模型万相2.1(Wan)正式开源,此次开源采用Apache2.0协议,14B和1.3B两个参数规格的全部推理代码和权重全部开

2月27日消息,大模型开源的风吹到了视频生成大模型。阿里云日前放出重磅消息:万相,开源!NMh喜好网-记录每日喜好的科技时尚娱乐生活

阿里云视频生成大模型万相2.1(Wan)正式开源,此次开源采用Apache2.0协议,14B和1.3B两个参数规格的全部推理代码和权重全部开源,同时支持文生视频和图生视频任务,全球开发者可在Github、HuggingFace、魔搭社区下载体验。NMh喜好网-记录每日喜好的科技时尚娱乐生活

从2023年开始,阿里云就坚定大模型开源路线,其千问(Qwen)衍生模型数量已超过10万个。随着万相的开源,阿里云实现了全模态、全尺寸的开源。NMh喜好网-记录每日喜好的科技时尚娱乐生活

四个开源模型NMh喜好网-记录每日喜好的科技时尚娱乐生活

此次开源共有四个模型,文生和图生各两个,两个参数版本。两个文生视频模型分别是1.3B和14B两个规格;两个图生视频模型都是14B,分辨率一个480P一个720P。NMh喜好网-记录每日喜好的科技时尚娱乐生活

14B版本万相模型:在指令遵循、复杂运动生成、物理建模、文字视频生成等方面表现突出,在权威评测集Vbench中,万相2.1以总分86.22%大幅超越Sora、Luma、Pika等国内外模型,稳居榜首位置。NMh喜好网-记录每日喜好的科技时尚娱乐生活

1.3B版本万相模型:不仅超过了更大尺寸的开源模型,甚至还和一些闭源的模型结果接近,同时能在消费级显卡运行,仅需8.2GB显存就可以生成480P视频,适用于二次模型开发和学术研究。NMh喜好网-记录每日喜好的科技时尚娱乐生活

有用户表示,1.3B的万象模型在RTX4090上跑一条5秒钟的480P视频的时间大概只要4分钟。NMh喜好网-记录每日喜好的科技时尚娱乐生活

阿里云特别强调,万相2.1(Wan)大模型是首个具备支持中文文字生成能力,且同时支持中英文文字特效生成的视频生成模型。NMh喜好网-记录每日喜好的科技时尚娱乐生活

实验结果显示,在运动质量、视觉质量、风格和多目标等 14 个主要维度和 26 个子维度测试中,万相表现出色,并且斩获 5 项第一。尤其在复杂运动和物理规律遵循上的表现上大幅提升,万相能稳定呈现人物的旋转、跳跃等高难度动作,并逼真模拟物体碰撞、反弹和切割等真实物理效果。NMh喜好网-记录每日喜好的科技时尚娱乐生活

良好表现的背后,是基于主流的DiT和线性噪声轨迹Flow Matching范式,万相大模型通过一系列技术创新实现了生成能力的重大进步。包括自研高效的因果3D VAE、可扩展的预训练策略、大规模数据链路构建以及自动化评估指标,这些创新共同提升了模型的最终性能表现。NMh喜好网-记录每日喜好的科技时尚娱乐生活

阿里展示了诸多万相大模型生成的视频,大家看看效果:NMh喜好网-记录每日喜好的科技时尚娱乐生活

开源地址:NMh喜好网-记录每日喜好的科技时尚娱乐生活

Github: https://github.com/Wan-VideoNMh喜好网-记录每日喜好的科技时尚娱乐生活

HuggingFace:https://huggingface.co/Wan-AINMh喜好网-记录每日喜好的科技时尚娱乐生活

魔搭社区:https://modelscope.cn/organization/Wan-AINMh喜好网-记录每日喜好的科技时尚娱乐生活

NMh喜好网-记录每日喜好的科技时尚娱乐生活

NMh喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
年轻人的失眠症,正在被包装成“熬夜经济”

年轻人的失眠症,正在被包装成“熬

最近一段时间,各大奶茶店纷纷开启

11-19 120阅读
小米汽车发布智能底盘预研技术,实现多种高难度动作‌

小米汽车发布智能底盘预研技术,实

11-19 104阅读
“农药”不老,腾讯有“宝”

“农药”不老,腾讯有“宝”

腾讯

11-19 104阅读
“知春路时代”的创业者,被回购条款绊了一跤

“知春路时代”的创业者,被回购条

这次

11-19 124阅读
哪个正常人能拒绝一只毛茸茸的「电子猫咪」?

哪个正常人能拒绝一只毛茸茸的「

猫咪

11-19 129阅读
NCT成员道英自2021年演出《玛丽・安东妮》之后睽违3年再度登上音乐剧舞台演出《笑面人》

NCT成员道英自2021年演出

NCT成员道英自2021年演出《玛

11-19 109阅读
中国电影海外推广研讨会在豆园(Doc.Park)举行

中国电影海外推广研讨会在

  近日,原国家广电总局电影局原巡

11-19 107阅读
《山水间的家》:围屋承古韵,老区展新颜!

《山水间的家》:围屋承古韵

  从赣南大地到沂蒙山区,乡土文化在

11-19 107阅读
关晓彤近况臃肿引热议!红发造型太显眼,网友大呼认不出

关晓彤近况臃肿引热议!红发

近日,关晓彤担任金鸡奖开奖嘉宾,在关晓

11-19 116阅读
浪胃仙IP创始人“游絮”犯职务侵占罪被判8年:罚100万 归还账号

浪胃仙IP创始人“游絮”犯

11月13日消息,据

11-19 103阅读
PS5 Pro在美国的首发销量与PS4 Pro相近

PS5 Pro在美国的首发销量

PS5 Pro 于本月早些时候发行,虽然这款

11-19 130阅读
和平精英国际服怎么选择国家?和平精英国际服改国籍方法

和平精英国际服怎么选择国

《和平精英国际服》是蓝洞和腾讯联合出

11-19 201阅读
原子之心巴浦洛夫综合体区域死者位置分享

原子之心巴浦洛夫综合体区

原子之心游戏中的巴浦洛夫综合体区域里

11-19 110阅读
饥荒理智怎么恢复?饥荒超全恢复理智值方法一览

饥荒理智怎么恢复?饥荒超

饥荒理智怎么恢复?在饥荒游戏的设定中,玩

11-19 131阅读
原神缄默的求知者任务攻略|缄默的求知者具体流程

原神缄默的求知者任务攻略

缄默的求知者是原神须弥地区的魔神主线

11-19 127阅读