颠覆性的视频理解新突破！达摩院开源VideoLLaMA3惊艳来袭
随着科技的飞速发展，视频数据已成为我们日常生活中不可或缺的一部分。为了更好地理解和处理这些海量的视频数据，达摩院最新开源了VideoLLaMA3模型，其惊艳表现令人瞩目。该模型以图像为中心，构建了新一代的多模态视频-语言模型，其在通用视频理解、时间推理和长视频理解等核心维度上的表现均超越了多数基线模型。
VideoLLaMA3模型的出色表现，得益于其以图像为中心的训练范式。这种训练范式主要包含四个关键内容：视觉编码器适配、视觉语言对齐、多任务微调以及视频微调。通过这些方法，VideoLLaMA3在框架设计和训练过程中，实现了对不同分辨率图像和视频的处理，并增强了模型对多样场景的理解和特征提取能力。
高质量的数据在VideoLLaMA3的性能提升中起到了关键作用。首先，团队构建了包含700万图像-字幕对的VL3Syn7M数据集，为模型提供了丰富的高质量训练数据。此外，Aspect Ratio Filtering、Aesthetic Score Filtering以及Text-Image Similarity Calculation with Coarse Captioning等数据过滤和增强策略，确保了剩余图像内容与描述的紧密相关性，提升了模型学习到的图文对的质量和代表性。
在Vision Encoder Adaptation阶段，团队整合了场景图像、文档识别图像和少量场景文本图像，以增强模型对多样场景的理解和特征提取能力。而在Vision-Language Alignment阶段，高质量的数据微调则涵盖了多种中英文数据集、细粒度数据以及大量高质量纯文本数据，进一步提升了模型对图像细节的理解。
在Multi-task Fine-tuning阶段，团队使用了指令跟随数据混合覆盖多种任务，涵盖了图像、文档、图表、OCR等不同类别的数据，并使用大量纯文本数据提升模型处理涉及视觉和文本输入的指令跟随任务的能力。而在Video-centric Fine-tuning阶段，收集了多个开源数据集中带注释的视频数据，并通过合成特定方面的密集字幕和问答对扩展了数据规模。
VideoLLaMA3模型的出色表现不仅体现在理论成果上，更在实际应用中得到了验证。目前，该模型已经在HuggingFace上提供了图像、视频理解的demo。例如，我们给一张《蒙娜丽莎的微笑》的图片，向VideoLLaMA3提问“讨论这幅画在艺术界的历史影响和意义”，其回答精准且简约。再来看下视频理解的demo，我们的问题是“视频中有什么不寻常之处”，VideoLLaMA3的回答简洁而精准。
总的来说，VideoLLaMA3模型的开源无疑将推动视频理解领域的发展。达摩院在VideoLLaMA3上的创新和努力，无疑为整个领域树立了一个新的标杆。我们期待未来VideoLLaMA3在更多实际应用场景中的表现，也相信会有更多的研究者会利用这个强大的工具来推动视频理解领域的发展。
