3D运动与视频协同生成模型
热点事件历史事件
3D运动与视频协同生成模型
2 篇报道2 个报道来源首报21 天前更新
先了解这件事
AI 综述
2026年10月20日，HuggingFace Daily Papers报道了Noam Rotstein团队提出的新模型，能够协同生成任意骨骼结构的3D运动与视频，同时定位关节位置并恢复相机姿态。次日（10月21日），该研究在arXiv上正式发表论文，详细介绍了模型通过分离运动模型与视频模型，使用交叉注意力层连接，支持从文本生成多样化骨骼动画，并能将视频转换为骨骼运动，实现关键帧控制。研究团队使用生成性视频编辑器创建了近20万训练对，评估显示该方法比视频优先管道更忠实于原始动作和文本描述，且运动能响应周围场景。
AI 根据报道生成 · 20 天前更新
最新进展10月21日 01:59
Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频事件进展
2 个进展
- 10月21日 01:59 · 1 篇报道3D运动与视频协同生成模型arXiv · cs.RO：Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频
- 10月20日 04:00 · 1 篇报道3D运动与视频联合生成模型HuggingFace Daily Papers：Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频
报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv · cs.RO精选Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频
Noam Rotstein提出了一种新模型，能够协同生成任意骨骼结构的3D运动与视频，并自动定位相机位置将运动放置到3D场景中。该模型通过分离运动模型与视频模型，使用交叉注意力层连接，支持从文本生成多样化骨骼动画，并能将视频转换为骨骼运动，实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对，评估显示该方法比视频优先管道更忠实于文本描述，且运动能响应周围场景。
10月20日
- HuggingFace Daily PapersJoints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频
研究人员提出了一种新模型，能够直接协同生成任意骨骼结构的3D运动和视频，同时定位关节位置并恢复相机姿态。该模型通过分离运动模型与视频模型，使用交叉注意力层连接，支持从文本生成多样化骨骼动画，并能将视频转换为骨骼运动，实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对，评估显示该方法比视频优先管道更忠实于原始动作。