DEEP Robotics 展示五项具身 AI 研究进展
DEEP Robotics 公布五项具身 AI 研究成果,涵盖人形机器人与具身智能领域。该公司未披露具体技术参数或产品细节。
DEEP Robotics 公布五项具身 AI 研究成果,涵盖人形机器人与具身智能领域。该公司未披露具体技术参数或产品细节。
DEEP Robotics 公布五项具身 AI 研究成果,涵盖人形机器人与具身智能领域。该公司未披露具体技术参数或产品细节。
2026物理AI与世界模型大会在南京举办,戴琼海、谭铁牛等院士及三位图灵奖得主参与。大会发布50个应用场景,成立50亿元物理AI与世界模型投资基金,启动《人工智能世界模型》国家标准预研工作。
琶洲算法大赛世界模型生态合作赛决赛开启,第五届赛事报名队伍突破10100支,覆盖80多个国家和地区,海外队伍超过1100支。
WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。
推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。
研究人员提出SkeLAM模型,通过骨架监督分解潜在动作为运动学成分和残差成分,在DROID数据集上相比DreamDojo将末端执行器ADE降低19.5%,LPIPS降低11.1%,实现了零样本人机动作迁移。
同一件事,精选收录的是《Skeleton-Grounded Latent Action Model for Robot World Models》
Qi Lv提出SkeLAM模型,一种骨架引导的潜在动作模型,用于机器人世界建模。该模型将潜在动作分解为基于机器人骨架监督的运动学组件和保留补充视觉动力学的残差组件,在DROID数据集上相比DreamDojo将末端执行器ADE降低19.5%,LPIPS降低11.1%,并实现了零样本人类到机器人的运动迁移。
推荐理由:通过骨架监督分解潜在动作,SkeLAM模型显著提升了机器人世界模型的运动控制精度和零样本迁移能力。
Yufeng Liu等人提出Echo框架,结合任务状态信号学习与紧凑设计,在单一视觉语言动作模型中实现状态预测与动作生成。该框架通过停止和失败信号表示任务状态,与机器人动作一起去噪,无需帧级进度标注即可区分执行状态。真实世界操作实验表明,Echo能准确预测任务状态并提升策略性能。
推荐理由:通过任务状态信号与动作联合去噪,Echo让机器人能自主判断任务完成与失败,减少了对细粒度标注的依赖。
Junzhe He提出了一种学习框架,通过基于注意力的接触规划器和接触条件跟踪器,让人形机器人在复杂地形上实现自然协调运动。该框架结合了强化学习和参考方法的优势,使用运动数据作为训练先验,同时保持通过强化学习探索环境相关行为的能力。
推荐理由:基于注意力的接触规划器将运动数据作为训练先验,让人形机器人在复杂地形上实现自然协调运动。
研究人员提出DiffDreamer框架,将学习到的世界模型与可微分仿真紧密结合,用于四旋翼动态门竞速等任务。该方法通过分解目标函数,分别处理不可微分的任务奖励和可微分的运动奖励,实验显示其在训练收敛速度和最终性能上优于多种基线方法。
推荐理由:将世界模型与可微分仿真耦合,解决了四旋翼控制中环境动态与机器人自身动态的耦合问题,提升了训练收敛速度和最终性能。
本文提出传感器运动对齐(S²)指标,用于衡量模型感官表征与物理运动几何结构的对齐程度。研究发现S²与下游机器人任务成功率呈正相关,可作为闭环评估前的低成本模型筛选指标,还能在微调前识别有前景的视觉语言模型骨干。
MIT 研究人员将 13 个名为 Eko 的 AI 智能体(基于 Claude Opus 4.7)单独放置在模拟荒岛上 30 小时,发现这些智能体在没有特定任务的情况下自发创造了游戏和挑战。研究人员在 arXiv 上发表的论文中描述了这一实验,并指出这种行为具有游戏的特征。这些自主探索的智能体在后续任务中表现优于未经探索的同类智能体。
IROS 2026 最佳论文奖颁给 LT-Mem,研究让机器人重访同一空间时能完整保留每个物体的位置变迁史。国内具身初创公司贝塔无限发布 BetaMem 全时空多模态记忆架构,在四项代表性记忆基准评测中均取得 SOTA 成绩,解决了机器人长期记忆的关键问题。
推荐理由:把记忆拆分为证据与状态,让机器人从单次执行器进化为长期同事,这一系统设计解决了具身智能的核心痛点。
研究人员提出SERA(Self-Evolving Robotic Agent)框架,通过可编辑的harness将视觉语言模型组织为机器人智能体,利用环境rollouts实现自我进化。在RoboMME测试中,SERA通过自主选择实现了51.38%的整体成功率,相比没有自我进化的44.38%有显著提升。这种方法解决了历史依赖操作中的非马尔可夫问题,表明智能体规划是解决此类机器人操作任务的有前景方向。
推荐理由:通过可编辑的harness将VLM组织为机器人智能体,利用环境rollouts实现自我进化,解决了历史依赖操作中的非马尔可夫问题。
研究者提出多模态具身智能体(MMEAs)概念,引入PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。通过64个基准测试分析,发现当前评测过度关注行动能力,而预测和验证能力评估严重不足,揭示了物理环境对智能体设计的挑战。
同一件事,精选收录的是《多模态具身智能体:从计算机使用到机器人使用的统一能力视角》
研究人员提出AW-0框架,整合代码规划与视频预测,使机器人技能可复用且具备物理预测能力。该框架在RoboTwin 2.0和双臂操作任务中表现优于VLA和WAM基线模型,提升了任务性能、语言遵循能力和语义推理能力。
同一件事,精选收录的是《Agentic World Action Models 论文发布》
Zhaohui Yang等人提出SP-HLM框架,结合五个关键身体姿态与潜在运动先验,实现人形机器人的操作控制。该框架包含SP-VLA视觉语言动作模型预测稀疏姿态,SP-MGM运动生成模型重建全身动作,以及SP-GMT通用运动跟踪器实现全身控制。实验表明该方法在运动跟踪、全身协调和操作成功率上优于现有方法。
推荐理由:通过稀疏姿态驱动接口分离任务意图与全身协调,解决了人形机器人操作中的控制难题。
研究人员提出了一个统一的闭环操作框架,用于评估前沿AI模型在LIBERO-10基准测试中的表现。测试包括GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5、Claude Opus 5.5和Gemini-4 Argon六个模型,在三种推理努力水平下进行了1800次评估。
推荐理由:前沿AI模型在机器人操作任务中成功率最高仅44%,推理能力转化为可靠物理动作仍是挑战。
Likui Zhang提出AtomicRL框架,通过语义感知策略优化(SAPO)和瓶颈自适应目标探索(BATE)解决VLA模型在长时程任务中的信用分配问题。在LIBERO-LONG和CALVIN ABC-D数据集上,相比PPO方法分别提升3.6%和9.5%的性能,结合Real2Sim2Real管道后,实际机器人任务性能平均提升21.3%。
推荐理由:通过原子任务结构解决长时程机器人操作中的信用分配难题,Real2Sim2Real管道使仿真到现实迁移效率提升21.3%。
Sriyash Poddar 提出 ASTEROID 框架,通过学生-教师监督学习让机器人在部分可观测环境中学习测试时探索。该方法在11种不同环境中表现优异,返回率提高约2倍,交互次数比强化学习减少约100倍,在仿真到真实机器人操作中成功率提升40%。
推荐理由:ASTEROID 框架通过不对称在线策略蒸馏,让机器人在不确定环境中高效探索,比强化学习减少99%交互次数。
本文提出多模态具身智能体(MMEAs)概念,定义了PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。研究分析了从计算机使用到机器人使用的转变面临的五大物理约束,并指出当前64个基准测试中仅有5个评估预测能力,3个评估验证能力,存在评测不平衡问题。
推荐理由:从计算机使用到机器人使用的多模态智能体转变面临五大物理约束,当前评测过度关注执行而忽视预测与验证能力。
Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。
推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。
Yunhao Luo 提出 PhysiCalWorld 方法,通过上下文提示而非微调或物理建模来校准世界模型的实例特定动力学。该方法将探索性交互片段编码为紧凑的物理描述符令牌,显著提高了滚动预测准确性和视觉规划成功率,并在训练物理范围之外表现出泛化能力。
推荐理由:通过上下文提示而非微调实现世界模型的物理校准,为具身智能提供了更准确的场景预测能力。
Zhuoyang Liu等人提出AW-0框架,将代码规划与视频、动作预测整合为三个耦合的生成流,在RoboTwin 2.0和双臂操作任务中表现优于VLA和WAM基线模型。
推荐理由:AW-0框架首次将代码规划与视频、动作预测耦合,为机器人提供了可复用的技能库,弥合了预测与执行间的鸿沟。
研究人员提出Harness Scaling方法,通过多样化训练配置提升智能体强化学习的泛化能力。该方法构建因子化harness空间,选择平衡训练子集,并组织跨harness训练,在多个基准测试中显著提高了模型对未见配置的泛化性能。
研究人员提出ALPS,一种预训练的视觉状态编码器,能够统一物理状态信息、原生语言对齐和像素重建三种能力。在LIBERO评估中,ALPS在ViT-B模型中实现了最低的聚合状态探测误差,同时保持了强大的语言对齐和准确的像素重建能力。
推荐理由:ALPS通过统一物理状态、语言对齐和像素重建三种能力,为世界模型提供了更全面的视觉基础。
Rodion Shkokov提出AOV-GS系统,使用冻结的SAM和CLIP模型引导机器人探索,构建支持开放词汇语义查询的3D地图。在Replica和Matterport3D数据集上,该方法相比纯几何主动规划提升了语言场mIoU 1.3-1.8个百分点,同时保持新视角PSNR相当。代码已公开。
推荐理由:冻结基础模型引导机器人探索,无需人工标注即可构建开放词汇语义地图,提升语义查询能力。
该论文提出PRISM框架,将深度噪声解耦为感知失效和测量不准确两种模态,利用3D视觉基础模型特征作为空间语义先验。实验表明,PRISM在嘈杂深度合成中达到最先进保真度,并在下游机器人实验中实现92.1%的平均成功率。
推荐理由:将深度噪声解耦为感知失效和测量不准确两种模态,为机器人在真实世界中的感知提供了新思路。
本文提出SERA(Self-Evolving Robotic Agent)方法,通过可编辑的harness将视觉语言动作模型转化为机器人智能体,在RoboMME基准测试中实现了51.38%的自主选择成功率,比无自我进化提高了7个百分点。该方法利用环境rollouts来提议和评估harness修订,解决了长时程任务中的非马尔可夫依赖问题。
同一件事,精选收录的是《从视觉语言模型规划器到机器人智能体:面向历史依赖操作的自进化框架》
研究综述提出具身 AI 的显式意图框架,旨在提升人形机器人的任务执行能力。该框架通过明确目标导向行为,优化机器人在复杂环境中的决策效率。
ConfigWM 通过任务条件化状态提取实现可配置感知,在噪声环境中保持稳定的规划成功率,平均领先最强竞争方法 22.3%。物理量探测提升 Pearson r 0.365,分心环境到干净环境的检索准确率提升 75.5%。
研究人员提出HarnessAdapt-RL方法,在强化学习过程中同时训练智能体策略并适应其工具链。在9B基础模型上,该方法在SWE-bench Verified、Multilingual和Pro基准上分别比GRPO提高9.8、12.6和6.4个百分点,优于人工设计的OpenHands工具链。机制级技能的提升在评估后移除仍能保持,但部署时移除工具和 hooks 会损失最多7.7个百分点性能。
推荐理由:训练智能体时同时优化模型与工具链,比单独训练模型提升近10个百分点,但部署时需移除部分技能以保持性能。
生数科技世界模型团队开启Motubrain 2.0训练全流程公开直播,计划持续半个月,向公众展示具身模型的训练过程及研究进展。此次直播将涵盖预训练、后训练、Agent任务执行和RSI探索四个环节,旨在打开具身模型训练的'黑盒',让外界看到模型如何逐步形成能力。
Slot-JEPA 将密集表示分解为稳定语义槽和时变空间掩码,提供可重用的对象结构化接口。其 Transition Memory Predictor 存储视觉转换为紧凑掩码,通过槽统计检索上下文;Unbalanced Optimal Transport 监督掩码预测并评估候选计划。在七个视觉理解基准和 REALM-JEPA 的六项平面环境及四项机械臂规划任务中表现提升。
OverSeer 引入固定辅助视图增强多智能体世界模型的一致性,在 Minecraft 和 Doom 实验中显著改善世界与智能体状态同步,并通过 delta-VAE 压缩技术降低计算开销。
研究人员提出Agent S4,一种自主计算机使用科学家,能从任务经验中构建进化型智能体界面。在OSWorld V2测试中,使用Qwen3.8-27B和进化界面的Agent S4达到21.3%二进制分数,是相同模型固定界面的3.8倍,性能超越GPT-5.5(13.0%)和Claude Opus 4.8(20.6%),且成本仅为两者的4.3%和1.5%。
推荐理由:让智能体自主进化界面设计,比固定接口提升3.8倍性能,且成本仅为GPT-5.5的4.3%
Pengying Wu提出CLOSER框架,通过视觉语言模型验证与主动感知结合,在物体目标导航任务中提升成功率3.6个百分点,路径长度加权成功率提高2.0个百分点。该框架可在本地运行并集成到现有系统中无需重新训练。
推荐理由:通过主动验证减少具身导航中的误判,CLOSER框架在提升成功率的同时降低了路径长度。
SuperMimic提出了一种新方法,使用单一可微分世界模型拟合共享动力学,与跟踪策略共同训练,在3小时内超越传统方法7天训练效果,将GPU训练时间减少1000倍以上。该方法在129,514个基准动作中仅失败25个,9.8小时后实现零失败,并能成功迁移到宇树G1物理机器人上。
推荐理由:用单一可微分世界模型替代传统强化学习,将训练成本降低千倍,为机器人控制研究开辟新路径。
研究人员提出REACT框架,用于从人-人演示中学习可部署的人形-人交互策略。该框架利用VLM引导的接触建模和重定向管道识别语义上有意义的接触,并将其转移到人形-人几何结构上,同时通过生成式伙伴状态建模预测遮挡视图中的伙伴运动。在模拟和宇树G1人形机器人上的测试表明,该方法在五个接触丰富的交互中表现良好,且完全依靠机载传感器工作。
推荐理由:通过VLM引导的接触重定向和生成式伙伴建模,解决了人形机器人在与人交互时的部分可观察性问题,实现了完全依靠机载传感器的接触丰富交互。
CoGaussian 提出开放词汇协同语义占用预测框架,通过基础模型对齐的稀疏3D高斯表示多智能体几何与语义信息融合。在 Semantic-OPV2V 基准上超越现有开放词汇单智能体方法,提升多机器人系统场景理解能力。