视频:通过阅读、写作、共享与交互理解世界
这篇综述以世界建模为统一框架,分析视频基础模型与视频世界模型的关系,提出四种互补操作:从视频中推断世界属性、根据世界条件合成视频、通过共享建模机制整合理解与生成、在动作与观测下预测和更新世界状态。研究强调从片段级识别向持久状态、可控演化及物理因果有效性的转变,并指出当前面临的开放挑战。
这篇综述以世界建模为统一框架,分析视频基础模型与视频世界模型的关系,提出四种互补操作:从视频中推断世界属性、根据世界条件合成视频、通过共享建模机制整合理解与生成、在动作与观测下预测和更新世界状态。研究强调从片段级识别向持久状态、可控演化及物理因果有效性的转变,并指出当前面临的开放挑战。
研究提出未来块预测(FCP)辅助目标,通过预测时间分离的视频块来提升视觉演化建模能力。FCP 在无需额外预训练视觉编码器的情况下,以更低训练计算成本实现更优物理合理性。该方法可能促进更结构化的表示空间构建,对自回归世界模型开发有潜在价值。
Holi-World 引入集成生态系统,连接经验捕获、世界表示和自动数据构建,通过 HOLIWORLD-Founday 构建约 100 个场景的世界记录。HOLIWORLD-VL-4B 在 ScanNet、Aria Digital Twin 等数据集上展现静态感知和动态跟踪性能,训练后时空推理能力在 HOLIWORLD-Bench 和 EgoDynamic4D 上显著提升。