跳到正文

技术方向

具身智能 最新动态

AI 走进物理世界:人形机器人、具身基础模型与真实环境操作能力的进展追踪。

183 条精选近 30 天 181 条共收录 563 条

更新

精选归档 · 第 9 页

10月17日周六第 161–180 条
  1. arXiv · cs.RO65

    场景自适应VLA:通过动态层路由实现高效自动驾驶

    Yujia Yang提出Scene-Adaptive VLA框架,利用动态层路由根据实时场景调整活跃参数,在Bench2Drive基准测试中,将先进VLA模型的推理计算开销降低53.5%,同时保持驾驶和语言能力几乎不受影响。代码已开源于GitHub。

    推荐理由:通过动态层路由将计算开销降低53.5%,为车载VLA模型提供实时推理新思路。

  2. arXiv · cs.RO70

    LIBERO-Pro2.0: 评估具身基础模型鲁棒性的基准测试

    Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试,用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预,涵盖六个维度,共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略,发现在运行时分布偏移下,模型平均性能下降26.5个百分点,最高达32.5个百分点,突显了名义基准性能与分布偏移鲁棒性之间的差距。

    推荐理由:LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距,平均下降26.5个百分点,凸显了系统性鲁棒性评估的必要性。

  3. arXiv · cs.RO75

    LIBERO-Dynamic: 动态环境中的机器人操作基准测试

    Shaojie Ren 等人提出 LIBERO-Dynamic,这是对 40 个 LIBERO 任务的动态扩展,通过接触摩擦驱动物体运动,并考虑模型特定的推理延迟。研究评估了六种预训练策略在 1,800 种动态条件下的表现,比较了执行策略和动作范围,并使用动态和混合数据对三种架构进行了微调。物理实验显示任务相关的执行策略差异与模拟结果一致。

    推荐理由:LIBERO-Dynamic 基准首次将物体运动、推理延迟和动作执行纳入机器人操作评估,揭示了动态环境对策略性能的非均匀影响。

  4. arXiv · cs.RO75

    Blind Precise Assembly: Proprioceptive Sim-to-Real Peg-in-Hole for Diverse Parts

    研究仅依靠关节位置和速度感知(无视觉、力、力矩或触觉)的机器人装配策略,通过强化学习训练,成功实现销插入、齿轮啮合和螺母螺纹装配,并在真实世界中达到73%的零样本迁移成功率。研究还发布了开源程序化生成器,用于创建精确的凸形零件装配模拟。

    推荐理由:仅依靠关节 proprioception 实现毫米级装配,零样本迁移成功率73%,证明本体感知在精密装配中的潜力。

  5. arXiv · cs.RO65

    StopWatch: 物体导航中的目标定位

    Xinhao Liu 提出了 StopWatch 方法,解决了物体导航任务中的目标定位问题。通过明确目标定位,该方法在六个基准测试上达到了最先进的结果,并修正了这些基准测试中的标注缺陷。分析表明,在真实目标定位的情况下,其策略几乎达到了生成演示的专家水平。

    推荐理由:目标定位是物体导航任务中的关键瓶颈,明确目标定位方法显著提升了六项基准测试的性能。

  6. arXiv · cs.RO75

    Self-Building Labs:自主构建实验室系统

    Jiaru Bai 提出自我构建实验室(SBL)系统,能根据高层科学目标自主设计、配置和运行实验室设置。该系统从现有条件出发,构建实验室布局、数字孪生、机器人技能和实验工作流,已在量子点合成实验中验证端到端能力,使科学自动化更易访问、灵活和可扩展。

    推荐理由:从空白房间到完整实验室,SBL 系统自主设计、配置并运行实验,将人类角色从手动编程转向目标设定,大幅提升科学自动化灵活性。

  7. arXiv · cs.RO65

    并非所有动作贡献相等:从非精确演示中学习精确进度估计

    Huanqian Wang提出PRIME方法,通过构建加权图和最短路径搜索,从非精确的人类演示中学习精确的进度估计,在仿真和真实世界的高精度操作任务中表现出色,在充电器插入任务上比SFT基线方法提高5倍成功率。

    推荐理由:从人类不完美演示中学习进度评估,PRIME方法解决了高精度操作中错误动作干扰奖励信号的问题。

10月16日周五
  1. arXiv · cs.RO75

    学习机器人元推理:实时控制的自适应计算预算

    本文提出了一种将最优计算预算识别为半马尔可夫决策过程的方法,训练强化学习策略根据当前状态、执行计划和规划器统计信息动态调整计算时间。该方法在地面机器人导航、敏捷四旋翼飞行和接触密集操作任务中均优于固定基准方案。

    推荐理由:将计算预算优化建模为半马尔可夫决策过程,让机器人根据场景动态调整推理资源,解决了固定预算在关键场景下的局限性。

  2. arXiv · cs.RO65

    Foundation-Model-Driven 3D Scene Graphs for Mobile Manipulation

    本文将FOUND-IT集成到移动操作平台,展示了基础模型驱动的3D场景图在物体变化检测、多映射会话支持、导航路径规划和物体抓取等任务中的有效性。代码已在GitHub开源。

    推荐理由:将基础模型驱动的3D场景图集成到移动操作平台,验证了其在物体变化检测、导航路径规划和抓取任务中的实用性。

  3. arXiv · cs.RO65

    LIBERO-PeRM: 个性化机器人操作基准测试

    Zhixu Li等人提出LIBERO-PeRM基准测试,专注于具身智能体的偏好学习,包含312个任务和五个研究问题,评估当前VLA策略在零样本个性化、偏好学习和冲突处理等方面的表现。

    推荐理由:论文提出了首个针对个性化机器人操作的基准测试LIBERO-PeRM,填补了该领域评估空白。

  4. arXiv · cs.RO75

    Value as Memory: 在线价值引导的通用机器人策略后训练

    Wenye Yu提出Value as Memory (VaM)框架,通过价值缓存和在线强化学习解决机器人策略后训练中的部分可观测性和反馈延迟问题。在涉及可变形物体和接触密集操作的长时程任务中,VaM在价值缓存方面平均提高成功率29.4%,在线自主学习提高32.8%,在相同梯度步预算下执行8倍策略迭代,并发数据收集和训练使每梯度步时间降低2倍以上。

    推荐理由:本文提出了一种结合价值缓存和在线强化学习的机器人训练框架,解决了部分可观测性和反馈延迟问题。

  5. arXiv · cs.RO70

    T2-z: 机器人世界模型的环境隐变量测试时优化

    Chenyuan Zhou等人提出T2-Z方法,通过测试时优化环境隐变量来增强机器人世界模型。该方法在7个模拟环境和4个真实机器人任务中,将物体预测误差从15.20降至7.00,动作成功率从33.73%提升至72.96%。T2-Z能够从单次测试交互轨迹中高效推断环境隐变量,捕捉多样化视觉场景中个体和复合因素的结构化表示。

    推荐理由:T2-Z通过测试时优化环境隐变量,显著提升了机器人在新环境中的预测准确性和任务成功率。

  6. arXiv · cs.RO75

    感知、预测与规划:面向自我中心灵巧操作的世界统一行动模型

    作者提出P³-WAM模型,通过感知、预测和规划三种互补模式实现自我中心灵巧操作,整合紧凑的3D动作表示到预训练视频扩散变换器中,实验显示统一训练提升了所有三种能力,在3D手重建和动作条件视频预测任务上优于专用基线。

    推荐理由:论文提出了统一的世界行动模型,通过三种互补模式实现3D感知、预测和规划,在多个数据集上表现优于专用基线。

  7. arXiv · cs.RO70

    CoDA: 数据引擎与行动策略的协同进化

    Tianjiao Yu提出CoDA框架,让模拟数据引擎和行动策略通过共享异构记忆协同进化,在四个操作任务家族中,将分布外成功率从5.3%提升至27.6%,超过最强闭环基线9.5个百分点。在LIBERO-Pro上,15轮生成和训练使位置扰动下的成功率从25%提升到84%,指令扰动下从1%提升到76%。

    推荐理由:CoDA框架通过数据引擎与行动策略协同进化,显著提升了机器人在分布外任务中的成功率。

  8. arXiv · cs.RO75

    Spark-0:面向机器人灵巧操作的空间对齐触觉预训练扩展研究

    研究人员提出Spark-0模型,结合视觉-触觉-语言-动作(VTLA)多模态信息,通过1000小时的HumanTouch数据集进行预训练,在Ego Humanoid Manipulation Benchmark和SparkArena任务中取得最高成功率,触觉信息不仅作为策略输入,还成为灵巧视觉运动预训练的可扩展监督。

    推荐理由:研究通过大规模触觉预训练提升了机器人在灵巧操作中的成功率,提供了新的监督方法。

  9. arXiv · cs.RO75

    Dexterity from Supervised Play:通过监督学习实现机器人灵巧操作

    Botao He提出DSP框架,机器人通过行为克隆从人类游戏中学习策略,然后自主收集交互数据训练世界模型。在真实实验中,该方法比回顾性行为克隆成功率提高69.6%,且比强化学习减少490倍的交互数据量。

    推荐理由:论文提出了一种通过监督学习让机器人自主收集灵巧操作经验的新方法,显著减少了交互数据需求。

  10. arXiv · cs.RO65

    Mem4Act: 学习用于长期机器人操作的有效潜在记忆

    Mem4Act框架引入了一种固定大小的潜在记忆表示,通过多粒度时间聚合、互补语义和感知信息保留以及记忆优先的两阶段训练,解决了长期机器人操作中的记忆挑战。在RoboMME、RMBench和四个真实世界操作任务中,分别取得了49.88%、61.0%和81.5%的成功率,达到了最先进的性能。

    推荐理由:Mem4Act框架解决了机器人长期操作中的记忆挑战,通过多粒度时间聚合和互补记忆监督实现了SOTA性能。

10月15日周四
  1. Latent Space85

    Modal 达10亿美元年收入,16亿美元D轮融资成纽约最新AI基础设施十角兽

    Modal 宣布达成10亿美元年化收入(ARR),完成7.5亿美元D轮融资,估值达15.75亿美元,从独角兽跃升为十角兽。公司表示过去一年使用量增长15倍,过去5个月增长3倍。Modal的沙箱产品在2023年推出,目前已成为3亿美元年化收入的产品,已创建近30亿个沙箱实例,可扩展至百万级并发。

    推荐理由:Modal 从独角兽跃迁为十角兽,5个月估值增长3倍,AI基础设施商业化速度超预期。

10月14日周三
  1. Latent Space85

    Dyna Robotics发布Dyna-2物理智能体机器人

    Dyna Robotics发布了Dyna-2物理智能体机器人,该机器人基于预训练超过一百万小时人类视频的世界行动模型,已在酒店和餐厅实现实际部署,能够执行长达一小时的自主工作流程,如折叠餐巾和切菜。机器人采用半人形设计,结合轮式底盘与类人上身,通过扩散变压器架构实现连续动作预测,并能通过少量演示数据快速适应新任务。

    推荐理由:从百万小时人类视频预训练到酒店餐厅实际部署,Dyna Robotics展示了物理智能体从实验室到生产环境的跨越。