Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频
Noam Rotstein提出了一种新模型，能够协同生成任意骨骼结构的3D运动与视频，并自动定位相机位置将运动放置到3D场景中。该模型通过分离运动模型与视频模型，使用交叉注意力层连接，支持从文本生成多样化骨骼动画，并能将视频转换为骨骼运动，实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对，评估显示该方法比视频优先管道更忠实于文本描述，且运动能响应周围场景。
推荐理由：通过分离运动模型与视频模型，实现了任意骨骼结构的3D运动与视频的协同生成，解决了现有方法仅支持人类骨骼或参数量过大的问题。