PanoGraphGS:结合高斯溅射实现全景分割与分层3D场景图统一
Jinghan Gao提出PanoGraphGS框架,整合全景3D高斯表示学习与分层3D场景图构建。该方法在共享高斯几何上学习语义和实例特征,支持新视角全景分割和高斯级全景解码。在Replica和NaviGS数据集上,PanoGraphGS在物体节点准确率上超越最强基线50个百分点以上,并在2D全景分割任务中达到最先进性能。研究团队同时发布了NaviGS全景场景理解数据集。
Jinghan Gao提出PanoGraphGS框架,整合全景3D高斯表示学习与分层3D场景图构建。该方法在共享高斯几何上学习语义和实例特征,支持新视角全景分割和高斯级全景解码。在Replica和NaviGS数据集上,PanoGraphGS在物体节点准确率上超越最强基线50个百分点以上,并在2D全景分割任务中达到最先进性能。研究团队同时发布了NaviGS全景场景理解数据集。
RLTrajGen-PPMPC-CBF 框架通过强化学习与模型预测控制耦合,在 MetaDrive 环境中实现自动驾驶环岛安全导航,平均成功率提升 6.25%,运动病剂量值降低 65.87%,并加速训练收敛。该框架采用预设性能约束确保轨迹跟踪一致性,结合控制屏障函数提供实时安全修正。
Oliver Hausdörfer提出一种多视角潜在动作模型(LAM),通过交叉注意力解决深度和遮挡问题,将同步多摄像头视图压缩为潜在动作。实验表明,双视角LAM预训练将真实6D动作解码准确率提高17%,下游策略成功率提升13.5%,单次跨具身学习即可实现技能迁移,硬件实验中成功率提升20%。
推荐理由:多视角潜在动作预训练将6D动作解码准确率提升17%,证明视频与机器人数据互补且任务依赖性强。
本文提出了一种验证引导的训练框架,通过概率枚举安全约束来检测前向不变性违规,生成比标准对抗攻击方法更精确的失败边界反例。在Isaac Sim环境和真实自动驾驶赛车实验中,该安全过滤器实现了零安全约束违规,相比传统控制器和LQR备份策略表现更优。
研究提出一种高精度 RCM 伺服架构,通过分层 QP 控制器和权限引导规划器解决约束诱导任务奇异性问题。在 200 场景运动学基准测试中,该架构实现 100% 近奇异目标可达率和 99% 近关节极限目标可达率,软件 RCM 残差低于 0.142 mm。物理 6-DOF 机械臂实验显示最坏情况 RCM 残差为 178 μm,尖端调节误差中位数为 32 μm,满足眼科任务 200 μm 控制要求。
Amane Yamaguchi研究了PointHand远程操作界面中不同手部视觉呈现方式对新手操作者演示质量和策略学习的影响。在模拟任务中,仅强调拇指和食指关键点的新手收集了441次成功演示,比显示真实手形的320次高出38%。
研究团队提出TARSphere框架,包含基础设施TARSphere-Infra和多模态大模型智能体TARSphere-Harness,用于在物理和社会环境中执行长时程任务。研究构建了TARSphere-Bench评估基准,包含30个室内场景的360个剧集,评估了8个多模态大模型的表现,发现通用模型可能优于专用模型,但任务更新和人机交互仍有困难。
推荐理由:研究揭示了通用大模型在具身任务中可能优于专用模型,但任务更新和人机交互仍是难点,执行安全评估亟待加强。
研究人员提出FRED框架,通过自蒸馏方法提升世界行动模型(WAMs)的未来视频表示质量。该框架在真实操作场景中表现优异,特别是在长时程和跨领域任务上,零样本泛化能力显著提升,人机技能迁移成功率从19.4%提高到50.0%。
推荐理由:通过自蒸馏提升未来视频表示质量,使机器人零样本泛化能力提升近2.6倍,人机技能迁移成功率突破50%。
NVIDIA 发布 Cosmos3-H-Dreams,首个基于临床胆囊切除术数据训练的实时生成式外科手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上运行。该模型基于 Cosmos3 架构,通过学习临床手术视频和机器人运动学数据,实现了对人体内部复杂解剖结构和组织运动的实时交互模拟。
推荐理由:首个基于临床手术数据训练的实时生成式外科模拟器,将手术训练从桌面场景推进到复杂人体内部环境。
研究提出 ActionRoPE 接口,将行动驱动的相机位移转换为世界坐标旋转位置,使同一世界位置的 token 保持时间一致性。Coordinate-Conditioned Noise Scheduling 根据已知-新结构分配去噪调度,减少重访漂移 66%。该方法适配 1.3B 至 33B 参数的视频骨干模型,并可迁移至分布外场景。
研究团队发布了HandsOn,一个跨平台灵巧操作仿真基准测试,支持五种机械臂、六种灵巧手和约200种随机场景中的刚体、关节和可变形物体。该基准测试包含18,000个人类演示和66个验证任务,分为Core-50和Transfer-16两部分。
同一件事,精选收录的是《HandsOn: 一种可推广的灵巧操作大规模仿真基准》
研究人员提出Stateful Harness框架,将世界状态演化与视频渲染分离,构建了WorldState-Bench基准测试。在50组反事实双胞胎对测试中,完整框架使模型在隐藏状态下遵循规则的能力达到92%,远高于单独视频模型的32%。
推荐理由:将世界状态演化与视频渲染分离,使模型在隐藏状态下遵循规则的能力从32%提升至92%,为具身智能交互提供了新思路。
研究人员提出RoboValue基准,用于统一评估机器人价值模型,涵盖任务状态理解、时间进度监控、故障恢复推理和价值一致性四个维度。该基准包含15个仿真和20个真实世界操作任务,评估结果显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误。
推荐理由:RoboValue基准揭示了现有机器人价值模型在细粒度评估中的不足,为价值监督提供了具体改进方向。
研究开发仿真到现实的机器人学习框架,结合预训练通用策略 Octo 和 π₀.₅ 进行农业抓取任务。π₀.₅ 在任务性能和分布偏移鲁棒性上优于 Octo,验证了预训练策略与任务特定演示学习的潜力。
Prior-Informed Adaptation (PIA) 框架通过预训练世界模型并利用不确定性正则化规划实现快速适应,在仿真中比基线方法更快适应赛道和路面变化,硬件测试中仅需不到一小时车载交互即可实现可靠少样本适应。
研究比较了两种低成本LEAP手型在物体旋转任务中的表现,发现触觉信息可显著提升旋转效率并降低指尖负载,对称手型在旋转次数和速率上表现更优。
推荐理由:对比仿生与对称手型在物体旋转中的表现,触觉信息提升效率的同时降低负载,为机器人手部设计提供新思路。
Tianwei Luo等人发布了HandsOn,一个跨形态灵巧操作的仿真平台和基准,支持五种机械臂、六种灵巧手和约200种刚体、关节和可变形物体。该基准包含18,000个人类演示和66个人类验证任务,分为Core-50和Transfer-16两部分。
推荐理由:首个覆盖五臂六手200物体的灵巧操作基准,暴露了当前AI在物理交互中的真实能力边界。
PICA-WAM 提出一种自监督训练框架,通过跨外观自对齐任务提升世界行动模型(WAM)对任务无关视觉扰动的鲁棒性。在 RoboTwin 2.0、LIBERO-Plus、EBench 和真实机器人测试中,PICA-WAM 显著提升视觉扰动下的成功率,同时保持仿真性能。该框架通过 EMA 教师模型和轻量投影头对齐浅层动作表示,减少视频特征对无关外观的敏感性。
研究提出 CoopUQ 框架,通过跨机器人时空特征融合预测未来占用网格地图,并利用预测结果及不确定性引导多机器人强化学习决策,在遮挡和分布外场景下提升安全性和鲁棒性。实验显示该框架在 Unity3D 模拟环境和真实机器人测试中均优于基准方法。代码和视频已公开。
AnyGoal 引入基于世界模型环境的基准测试,评估模型在重组熟悉状态-动作因子时的泛化能力。研究发现当前模型在目标偏移预测和规划中普遍存在动态与表示失败。该开源框架为评估世界模型在新任务中的泛化进展提供基础。
研究提出 Fréchet Forcing 方法,通过生成锚定、上下文保真度和现实匹配三个约束,在 381 帧片段上微调 MiniWorld-1B 模型,使其在机器人操作和相机控制探索中生成超过 4,000 帧的稳定预测,无需教师模型或长视频训练。
英伟达在德国于利希超级计算中心使用JUPITER超级计算机完成104量子比特容错计算模拟,所需物理量子比特数量减少90%。该模拟验证了魔态培育技术,使研究人员能在构建硬件前优化设计方案,有望缩短实用型量子计算机实现进程数年。
首尔国立大学研究团队开发了Dynin-Robotics,一种能够理解人类指令、预测行动后场景并执行任务的机器人基础模型。该模型在四项真实世界机器人操作任务中平均成功率达78.4%,超过NVIDIA和Physical Intelligence的对比模型。研究论文已被NeurIPS 2026会议接受,将于12月发表。
推荐理由:通过预测场景来指导行动,Dynin-Robotics 在四项机器人操作任务中达到78.4%成功率,超越NVIDIA和Physical Intelligence模型。
研究人员开发了解释性管道研究视觉-语言-动作(VLA)模型的计算机制,发现模型编码的任务指令与绝对工作空间坐标绑定,导致对物体位置微小变化敏感。研究团队发布了Action Atlas平台,包含520+训练好的SAEs、79个识别概念和评分的UR10e回放数据。
推荐理由:通过激活注入揭示视觉-语言-动作模型对绝对坐标的依赖,解释了为何物体位置微小变化就导致任务失败。
研究人员提出 HyperDrone,一种比现有最先进批处理四旋翼仿真器快 20 倍的高性能仿真器。它结合了高度优化的多旋翼动力学与新的光线追踪引擎 HyperLux,可在消费级 GPU 上实现每秒数百万帧的渲染速度,并支持 RGB、深度、语义分割等多种观察模式。研究团队通过在仿真中训练基于视觉的偏航控制策略,并将其成功转移到真实的 Crazyflie 四旋翼机器人上进行了验证。
推荐理由:HyperDrone 以百万帧/秒的速度实现仿真到现实的快速迁移,为机器人训练提供了新可能。
研究人员提出WorldStream,一种开放式的3D世界模型,具有三个同时实现的能力:扩展可玩地形超越任何预定义地图、在运行世界中响应开放式语言指令、恢复访问地点及其编辑状态。
推荐理由:通过分层规划和持久状态实现无限扩展的3D世界,突破预定义地图限制,为开放世界交互提供新思路。
Physical AI 结合数据与世界模型实现机器人自主决策,支持具身智能任务。该技术依赖物理交互数据训练,构建环境认知能力,推动机器人从预设程序向自适应行为演进。
Laplace Intelligence基于Nvidia Cosmos平台构建高保真模拟环境,开发AI智能体自动设计边缘案例,用于测试机器人和自动驾驶汽车在部署前的安全性。公司已与自动驾驶卡车公司Bot Auto和日本汽车制造商等客户合作,并正在与Nvidia和T-Mobile合作开展圣何塞智能城市试点项目。
推荐理由:用AI测试AI的自动化红队技术为物理世界AI安全提供了新范式,但与已获15亿美元估值的Applied Intuition竞争将是关键挑战。
MIT工程师研发出柔软可穿戴的形状感知薄片,能够自主追踪自身形变,实验室测试中误差控制在0.5厘米以内。这项技术利用光纤追踪薄片的三维形态,即使局部受损仍可工作,可用于游戏控制、虚拟现实以及物理康复治疗等场景。
PhysSkin++ 通过自监督神经蒙皮场学习连续变形子空间,支持跨形状泛化、实时简化模拟及网格/点云/3D高斯绑定,可控制碰撞感知动画并补充弹性响应。
研究团队提出 SpatialScout 基准,用于评估视觉语言模型智能体在主动物体级 3D 映射上的能力。该基准包含 80 个多样化室内场景和 3,140 个目标物体,要求智能体控制相机探索场景并估计物体中心坐标。
推荐理由:SpatialScout 揭示了当前 VLM 智能体在主动探索和构建精确 3D 地图上的显著差距,最高分模型仅 41.71%,为具身智能研究提供了新基准。
研究人员发布BiDex-100基准,包含106项双灵巧手操作任务,覆盖泛化、指令跟随、有限演示、长时程和记忆五个能力维度。该基准支持两种 embodiment,提供8,080个成功验证的远程操作演示,总计625万帧。研究团队评估了七种最新的视觉-语言-动作模型,建立了针对特定能力、鲁棒性和数据效率的基线。
推荐理由:覆盖106项任务的双灵巧手基准填补了行业空白,接下来看各家模型在长时程记忆和泛化能力上的真实表现。
研究人员提出 AffordanceWAM,一种可 affordance 感知的生成式世界-动作模型,通过标量 affordance 和 affordance 热图表示物体中心的时空 affordance。
推荐理由:通过可 affordance 表示法连接人类与机器人视频数据,实现了无需人类动作标签的跨模态迁移学习。
PhysLDM 提出统一的潜在扩散范式,实现米级场景下78倍token压缩与2.48mm重建精度。该模型通过时空VAE避免阶梯伪影,并发现扩散模型比确定性回归更适合处理混沌的可变形动力学数据。训练后可零泛化到未见OOD数据集,支持逆问题求解与高阶设计优化。
研究提出一种循环策略,在连续介质点法模拟器中实现火星车松散土壤脱陷,平均脱陷率达62.5%,优于预设控制器的7/32。该策略基于81,771个训练窗口的陷坑检测器,在五种训练种子下验证,物理转移尚未验证。
研究发现,机器人策略改进后,视觉语言模型对失败案例的监控敏感性反而降低。在20次托盘放置实验中,成功率从66.8%升至97.0%,但剩余悬停失败被接受的比例从31.1%升至50.0%,这些失败多发生在托盘边缘下方,可能被遮挡。该现象被称为"覆盖偏移",表明任务改进与失败可检测性并非同步提升。
该研究提出了一种分层控制器,其中强化学习适应结构化运动参考,而步态调度器、反应性步态规划器和全身冲量控制器负责高频执行。在六方向干扰课程训练下,该控制器在测试干扰网格中达到77.29%的平均生存率,比基于模型的参考控制器高出27个百分点。
推荐理由:通过分层控制将强化学习与优化控制结合,四足机器人抗干扰生存率提升27个百分点。
Zhiyuan Yang提出NISE方法,解决RGB-D传感器在透明、反射物体上产生的深度测量问题。该方法通过几何交叉视图自监督和高斯边际化3D注意力,在保持清洁深度性能的同时,显著提升深度噪声鲁棒性,适用于真实机器人任务。
Sangwoo Jung 提出 RoMo-GS,一种解决机器人快速移动导致运动模糊问题的在线 3D 高斯溅射系统。该系统通过曝光积分处理运动模糊,使用基于 Hessian 的剪枝分数限制高斯数量增长,并在多个数据集上实现了比离线去模糊 3DGS 方法快 15-150 倍的性能,同时比在线 3DGS 基线少约 20% 的高斯数量。
推荐理由:通过曝光积分处理运动模糊,RoMo-GS 实现了在线 3D 高斯溅射,在保持质量的同时大幅提升效率。
Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试,用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预,涵盖六个维度,共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略,发现在运行时分布偏移下,模型平均性能下降26.5个百分点,最高达32.5个百分点,突显了名义基准性能与分布偏移鲁棒性之间的差距。
推荐理由:LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距,平均下降26.5个百分点,凸显了系统性鲁棒性评估的必要性。