混合粒子-体素动力学用于多模态3D世界模拟

Jimmy Wang提出3D World Simulator框架，结合粒子-体素自动编码器和动作条件潜在动力学模型，实现50Hz频率的多模态3D世界预测。该框架能从统一3D表示联合预测外观、几何和触觉观测，支持任意视角的几何一致性渲染，并已在大规模多样化物体数据集上验证了模型规划能力。