视频:通过阅读、写作、共享与交互理解世界
这篇综述以世界建模为统一框架,分析视频基础模型与视频世界模型的关系,提出四种互补操作:从视频中推断世界属性、根据世界条件合成视频、通过共享建模机制整合理解与生成、在动作与观测下预测和更新世界状态。研究强调从片段级识别向持久状态、可控演化及物理因果有效性的转变,并指出当前面临的开放挑战。
这篇综述以世界建模为统一框架,分析视频基础模型与视频世界模型的关系,提出四种互补操作:从视频中推断世界属性、根据世界条件合成视频、通过共享建模机制整合理解与生成、在动作与观测下预测和更新世界状态。研究强调从片段级识别向持久状态、可控演化及物理因果有效性的转变,并指出当前面临的开放挑战。
研究者提出视频中心深度研究报告生成任务及 OmniDR-Bench 评测基准,包含 50 个中英文任务和 6,414 条评测标准。评测显示最佳系统得分为 63.3 分,当前智能体需提升内容覆盖、跨模态因果分析及引用准确性。代码与数据已开源。
研究提出 Factor-Aware Predictive Learning (FAPL),提升多模态大语言模型在电影视频生成中的特征利用与时间推理能力。该方法通过三阶段训练,在稀疏输入转视频、因子感知编辑和多镜头生成任务上超越基线模型。实验验证了 FAPL 对 MLLM 特征使用、时间控制和因子协调的改进效果。
ALLOT 通过单元探测和轨迹校准优化视频扩散模型的块稀疏注意力分配,在相同或更短 wall-clock 时间下,于 HunyuanVideo 上实现 11.8 dB PSNR 提升,并在九种设置中优于或持平默认策略。
研究提出未来块预测(FCP)辅助目标,通过预测时间分离的视频块来提升视觉演化建模能力。FCP 在无需额外预训练视觉编码器的情况下,以更低训练计算成本实现更优物理合理性。该方法可能促进更结构化的表示空间构建,对自回归世界模型开发有潜在价值。
研究人员提出了一种新模型,能够直接协同生成任意骨骼结构的3D运动和视频,同时定位关节位置并恢复相机姿态。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于原始动作。
Matrix-Game 4.0通过分离游戏执行与视觉生成,实现了480p分辨率、60FPS的实时游戏体验,在NVIDIA RTX5090上按键到显示延迟为112ms。该系统使用轻量级游戏引擎维护世界状态,多模态编码代理将玩家想法转化为游戏代码,基于自回归视频模型的渲染器将引擎渲染的低多边形代理转换为详细视觉效果。
同一件事,精选收录的是《昆仑万维发布Matrix-Game 4.0视频大模型游戏》
DeOverlay 提出源锚定流程模型,通过区域加权流匹配和可见性归一化时间聚合重建视频,在 DVTE-Bench 上超越四个基线,Mask LPIPS 和 Mask VFID 分别降低 58.3% 和 70.3%。该基准包含 1,631 对视频,覆盖八类文本叠加层。
Code2Video-Compass 发布,涵盖 T2V/I2V/V2V 三类视频生成,包含 2,104 项任务和 17 项评测指标。评测显示 15 个 MLLM 在高复杂度任务中表现下降,需提升视频质量与指令对齐能力。
VideoMaMa++ 提出基于扩散模型的视频抠图框架,通过保留和精炼 token 实现跨块边界的时间一致性,在长视频中优于现有方法。该框架采用双流 token 交互和滑动窗口推理,在标准基准和真实长片段中均提升细节准确性和时间一致性。
研究团队发布PVBench基准,通过46个维度评估视频生成的物理合理性,涵盖几何、动力学、守恒定律等七个领域,包含600个提示词,30%涉及物理智能体。该基准结合专业视觉模型进行可验证的物理测量,并验证了自动指标与人类判断的一致性。
StreamingSwap 实现单卡 RTX 4090 上 20 FPS 的实时视频换脸,支持长达 10 分钟的稳定生成。该方法通过联合身份监督损失和短上下文训练优化身份转移与视觉质量,并发布包含 1000 小时训练数据的 HumanFaceVid 数据集。
研究提出 TCoVP 方法,通过时空链式视频原语解决视频推理分割中的视觉参考缺口,在五个 VRS 基准测试中验证性能,模型与代码将开源。