SceneRig: 从单张图像重建仿真就绪3D场景的智能体系统
SceneRig是一个智能体系统,可将单张图像转换为可编辑、仿真就绪的3D场景。该系统结合几何、视觉和物理工具重建3D场景,并通过智能体在物理仿真器中执行编辑-验证循环实现物理稳定性。相比基线方法,SceneRig能改进实例分割、以对象为中心的外观和3D放置,同时保持场景物理稳定,且其场景能更准确地预测真实机器人策略结果。
推荐理由:从单张图像重建物理稳定的3D场景,解决了视觉相似与物理行为之间的矛盾,为机器人仿真提供了新工具。
自动盯住上百个信源,用模型摘要、打分、精选,把同一件事的多篇报道归到一起,每天早上出一份日报。聚焦机器人、AI 与财经投资。
SceneRig是一个智能体系统,可将单张图像转换为可编辑、仿真就绪的3D场景。该系统结合几何、视觉和物理工具重建3D场景,并通过智能体在物理仿真器中执行编辑-验证循环实现物理稳定性。相比基线方法,SceneRig能改进实例分割、以对象为中心的外观和3D放置,同时保持场景物理稳定,且其场景能更准确地预测真实机器人策略结果。
推荐理由:从单张图像重建物理稳定的3D场景,解决了视觉相似与物理行为之间的矛盾,为机器人仿真提供了新工具。
研究人员提出AgenticRoboRL框架,通过监督微调和多轮强化学习对机器人规划器进行后训练,在LIBERO-PRO基准测试中,9B参数模型的成功率从18.1%提升至71.0%,接近Codex(GPT-5.5)的水平。该框架通过适配器连接规划器交互与任务结果,支持不同执行机制。
推荐理由:9B参数模型成功率从18.1%提升至71.0%,接近GPT-5.5水平,证明后训练对机器人规划器有效。
Jingjiao Zhao提出EventSync框架,通过事件驱动记忆更新协调任务推理和动作执行,在RoboMME基准上达到64.5%的整体成功率,比最佳基线高出20个百分点。该框架结合视觉语言模型生成子目标和视觉语言-动作模型执行,并通过轻量级事件监控器确定子目标完成状态。
推荐理由:事件驱动记忆更新解决了机器人操作中历史依赖任务的关键挑战,在RoboMME上实现64.5%成功率,领先基准20个百分点。
Tianwei Luo等人发布了HandsOn,一个跨形态灵巧操作的仿真平台和基准,支持五种机械臂、六种灵巧手和约200种刚体、关节和可变形物体。该基准包含18,000个人类演示和66个人类验证任务,分为Core-50和Transfer-16两部分。
推荐理由:首个覆盖五臂六手200物体的灵巧操作基准,暴露了当前AI在物理交互中的真实能力边界。
研究人员提出ScaleNav框架,通过三阶段训练方法利用网络第一人称视频学习目标导向的视觉动态,支持机器人动作生成。该框架在Short-Horizon OVON单视图适应基准上达到86.5%成功率,在HabitatGS-LN基准上达到94.9%成功率,优于评估的基线模型,并在真实四足机器人上部署验证了泛化能力。
推荐理由:利用网络第一人称视频训练机器人导航,解决了真实数据收集成本高和模拟到现实差距大的问题。
研究人员发布BiDex-100基准,包含106项双灵巧手操作任务,覆盖泛化、指令跟随、有限演示、长时程和记忆五个能力维度。该基准支持两种 embodiment,提供8,080个成功验证的远程操作演示,总计625万帧。研究团队评估了七种最新的视觉-语言-动作模型,建立了针对特定能力、鲁棒性和数据效率的基线。
推荐理由:覆盖106项任务的双灵巧手基准填补了行业空白,接下来看各家模型在长时程记忆和泛化能力上的真实表现。
Sangwoo Jung 提出 RoMo-GS,一种解决机器人快速移动导致运动模糊问题的在线 3D 高斯溅射系统。该系统通过曝光积分处理运动模糊,使用基于 Hessian 的剪枝分数限制高斯数量增长,并在多个数据集上实现了比离线去模糊 3DGS 方法快 15-150 倍的性能,同时比在线 3DGS 基线少约 20% 的高斯数量。
推荐理由:通过曝光积分处理运动模糊,RoMo-GS 实现了在线 3D 高斯溅射,在保持质量的同时大幅提升效率。
Shaojie Ren 等人提出 LIBERO-Dynamic,这是对 40 个 LIBERO 任务的动态扩展,通过接触摩擦驱动物体运动,并考虑模型特定的推理延迟。研究评估了六种预训练策略在 1,800 种动态条件下的表现,比较了执行策略和动作范围,并使用动态和混合数据对三种架构进行了微调。物理实验显示任务相关的执行策略差异与模拟结果一致。
推荐理由:LIBERO-Dynamic 基准首次将物体运动、推理延迟和动作执行纳入机器人操作评估,揭示了动态环境对策略性能的非均匀影响。
研究仅依靠关节位置和速度感知(无视觉、力、力矩或触觉)的机器人装配策略,通过强化学习训练,成功实现销插入、齿轮啮合和螺母螺纹装配,并在真实世界中达到73%的零样本迁移成功率。研究还发布了开源程序化生成器,用于创建精确的凸形零件装配模拟。
推荐理由:仅依靠关节 proprioception 实现毫米级装配,零样本迁移成功率73%,证明本体感知在精密装配中的潜力。
Mem4Act框架引入了一种固定大小的潜在记忆表示,通过多粒度时间聚合、互补语义和感知信息保留以及记忆优先的两阶段训练,解决了长期机器人操作中的记忆挑战。在RoboMME、RMBench和四个真实世界操作任务中,分别取得了49.88%、61.0%和81.5%的成功率,达到了最先进的性能。
推荐理由:Mem4Act框架解决了机器人长期操作中的记忆挑战,通过多粒度时间聚合和互补记忆监督实现了SOTA性能。