Spark-0:面向机器人灵巧操作的空间对齐触觉预训练扩展研究
研究人员提出Spark-0模型,结合视觉-触觉-语言-动作(VTLA)多模态信息,通过1000小时的HumanTouch数据集进行预训练,在Ego Humanoid Manipulation Benchmark和SparkArena任务中取得最高成功率,触觉信息不仅作为策略输入,还成为灵巧视觉运动预训练的可扩展监督。
推荐理由:研究通过大规模触觉预训练提升了机器人在灵巧操作中的成功率,提供了新的监督方法。
技术方向
AI 走进物理世界:人形机器人、具身基础模型与真实环境操作能力的进展追踪。
248 条精选近 30 天 246 条共收录 730 条
研究人员提出Spark-0模型,结合视觉-触觉-语言-动作(VTLA)多模态信息,通过1000小时的HumanTouch数据集进行预训练,在Ego Humanoid Manipulation Benchmark和SparkArena任务中取得最高成功率,触觉信息不仅作为策略输入,还成为灵巧视觉运动预训练的可扩展监督。
推荐理由:研究通过大规模触觉预训练提升了机器人在灵巧操作中的成功率,提供了新的监督方法。
Botao He提出DSP框架,机器人通过行为克隆从人类游戏中学习策略,然后自主收集交互数据训练世界模型。在真实实验中,该方法比回顾性行为克隆成功率提高69.6%,且比强化学习减少490倍的交互数据量。
推荐理由:论文提出了一种通过监督学习让机器人自主收集灵巧操作经验的新方法,显著减少了交互数据需求。
Mem4Act框架引入了一种固定大小的潜在记忆表示,通过多粒度时间聚合、互补语义和感知信息保留以及记忆优先的两阶段训练,解决了长期机器人操作中的记忆挑战。在RoboMME、RMBench和四个真实世界操作任务中,分别取得了49.88%、61.0%和81.5%的成功率,达到了最先进的性能。
推荐理由:Mem4Act框架解决了机器人长期操作中的记忆挑战,通过多粒度时间聚合和互补记忆监督实现了SOTA性能。
Modal 宣布达成10亿美元年化收入(ARR),完成7.5亿美元D轮融资,估值达15.75亿美元,从独角兽跃升为十角兽。公司表示过去一年使用量增长15倍,过去5个月增长3倍。Modal的沙箱产品在2023年推出,目前已成为3亿美元年化收入的产品,已创建近30亿个沙箱实例,可扩展至百万级并发。
推荐理由:Modal 从独角兽跃迁为十角兽,5个月估值增长3倍,AI基础设施商业化速度超预期。
Dyna Robotics发布了Dyna-2物理智能体机器人,该机器人基于预训练超过一百万小时人类视频的世界行动模型,已在酒店和餐厅实现实际部署,能够执行长达一小时的自主工作流程,如折叠餐巾和切菜。机器人采用半人形设计,结合轮式底盘与类人上身,通过扩散变压器架构实现连续动作预测,并能通过少量演示数据快速适应新任务。
推荐理由:从百万小时人类视频预训练到酒店餐厅实际部署,Dyna Robotics展示了物理智能体从实验室到生产环境的跨越。
Meta Superintelligence Labs发布了Muse Wonder系列模型,包括Muse Wonder和Muse Wonder Full两个版本。
推荐理由:14个月从零到前沿模型,Meta的Muse Wonder系列展现了惊人的迭代速度,但价格策略与访问限制引发行业讨论。
LeRobot 发布 v0.6.0 版本,重构依赖架构并更新GR00T模型至N1.7版本。此版本包含多项重大更新:依赖隔离安装、RL堆栈重建、新增多种基准测试集成、数据加载性能提升2倍,以及新增多种策略模型如EVO1和FastWAM。
推荐理由:LeRobot v0.6.0 重构依赖架构并更新GR00T模型,开源机器人平台正加速模块化演进。
LeRobot发布v0.4.0版本,新增Libero和Metaworld环境支持,强化多GPU训练能力,添加Nvidia Gr00t N1.5模型,优化数据集处理和机器人控制功能。
推荐理由:开源机器人平台LeRobot v0.4.0发布,新增Libero和Metaworld环境支持,强化多GPU训练能力,开源生态持续完善。