DreamX: 视频扩散模型作为通用潜在动作学习器

DreamX研究团队提出DreamX，将预训练视频扩散模型转化为通用潜在动作学习器，能从视频中提取压缩300倍的紧凑潜在动作，捕获与视觉外观解耦的动作相关动力学。该潜在空间作为跨实体（人类和机器人）、环境和动作参数化的共享动作接口，在LARY-Bench上实现了潜在动作模型的最先进性能，并支持任意到任意视频传输和跨实体的零样本动作迁移。