跳到正文
10月24日周六
  1. 钛媒体85

    GPT-6 Astra如何改写Agent、机器人与制药领域

    硅谷101邀请三位一线研究者探讨GPT-6 Astra对三个领域的影响。许华哲认为Astra对机器人是飞跃式提升,但速度慢且缺乏物理直觉;朱哲清指出个人Agent商业化面临API限制和身份验证难题;王晟表示Astra在AI制药中能设计实验方案,但真实实验验证仍是瓶颈。

    推荐理由:GPT-6 Astra同时冲击机器人、个人Agent和AI制药三大领域,但各领域面临的瓶颈截然不同:机器人需要速度与直觉,Agent需要身份验证,制药需要实验闭环。

10月23日周五
  1. arXiv · cs.RO65

    Echo:面向视觉语言动作模型的耦合动作与任务状态信号去噪

    Yufeng Liu等人提出Echo框架,结合任务状态信号学习与紧凑设计,在单一视觉语言动作模型中实现状态预测与动作生成。该框架通过停止和失败信号表示任务状态,与机器人动作一起去噪,无需帧级进度标注即可区分执行状态。真实世界操作实验表明,Echo能准确预测任务状态并提升策略性能。

    推荐理由:通过任务状态信号与动作联合去噪,Echo让机器人能自主判断任务完成与失败,减少了对细粒度标注的依赖。

10月22日周四
  1. HuggingFace Daily Papers75

    从视觉语言模型规划器到机器人智能体:面向历史依赖操作的自进化框架

    研究人员提出SERA(Self-Evolving Robotic Agent)框架,通过可编辑的harness将视觉语言模型组织为机器人智能体,利用环境rollouts实现自我进化。在RoboMME测试中,SERA通过自主选择实现了51.38%的整体成功率,相比没有自我进化的44.38%有显著提升。这种方法解决了历史依赖操作中的非马尔可夫问题,表明智能体规划是解决此类机器人操作任务的有前景方向。

    推荐理由:通过可编辑的harness将VLM组织为机器人智能体,利用环境rollouts实现自我进化,解决了历史依赖操作中的非马尔可夫问题。

  2. HuggingFace Daily Papers70

    Agentic World Action Models 论文发布

    研究人员提出AW-0框架,整合代码规划与视频预测,使机器人技能可复用且具备物理预测能力。该框架在RoboTwin 2.0和双臂操作任务中表现优于VLA和WAM基线模型,提升了任务性能、语言遵循能力和语义推理能力。

    同一件事,精选收录的是《Agentic World Action Models 论文发布》

  3. arXiv · cs.RO75

    SP-HLM:基于稀疏姿态驱动的运动生成与人形机器人操作控制

    Zhaohui Yang等人提出SP-HLM框架,结合五个关键身体姿态与潜在运动先验,实现人形机器人的操作控制。该框架包含SP-VLA视觉语言动作模型预测稀疏姿态,SP-MGM运动生成模型重建全身动作,以及SP-GMT通用运动跟踪器实现全身控制。实验表明该方法在运动跟踪、全身协调和操作成功率上优于现有方法。

    推荐理由:通过稀疏姿态驱动接口分离任务意图与全身协调,解决了人形机器人操作中的控制难题。

  4. arXiv · cs.RO65

    AtomicRL: 用于长时程机器人操作的原子强化学习

    Likui Zhang提出AtomicRL框架,通过语义感知策略优化(SAPO)和瓶颈自适应目标探索(BATE)解决VLA模型在长时程任务中的信用分配问题。在LIBERO-LONG和CALVIN ABC-D数据集上,相比PPO方法分别提升3.6%和9.5%的性能,结合Real2Sim2Real管道后,实际机器人任务性能平均提升21.3%。

    推荐理由:通过原子任务结构解决长时程机器人操作中的信用分配难题,Real2Sim2Real管道使仿真到现实迁移效率提升21.3%。

  5. arXiv · cs.RO75

    Agentic World Action Models 论文发布

    Zhuoyang Liu等人提出AW-0框架,将代码规划与视频、动作预测整合为三个耦合的生成流,在RoboTwin 2.0和双臂操作任务中表现优于VLA和WAM基线模型。

    推荐理由:AW-0框架首次将代码规划与视频、动作预测耦合,为机器人提供了可复用的技能库,弥合了预测与执行间的鸿沟。

  6. arXiv · cs.RO65

    从VLM规划器到机器人智能体:面向历史依赖操作的自进化harness

    本文提出SERA(Self-Evolving Robotic Agent)方法,通过可编辑的harness将视觉语言动作模型转化为机器人智能体,在RoboMME基准测试中实现了51.38%的自主选择成功率,比无自我进化提高了7个百分点。该方法利用环境rollouts来提议和评估harness修订,解决了长时程任务中的非马尔可夫依赖问题。

    同一件事,精选收录的是《从视觉语言模型规划器到机器人智能体:面向历史依赖操作的自进化框架》

10月21日周三
  1. arXiv · cs.RO75

    VLM引导的接触重定向与生成式伙伴建模用于人形-人交互

    研究人员提出REACT框架,用于从人-人演示中学习可部署的人形-人交互策略。该框架利用VLM引导的接触建模和重定向管道识别语义上有意义的接触,并将其转移到人形-人几何结构上,同时通过生成式伙伴状态建模预测遮挡视图中的伙伴运动。在模拟和宇树G1人形机器人上的测试表明,该方法在五个接触丰富的交互中表现良好,且完全依靠机载传感器工作。

    推荐理由:通过VLM引导的接触重定向和生成式伙伴建模,解决了人形机器人在与人交互时的部分可观察性问题,实现了完全依靠机载传感器的接触丰富交互。

  2. arXiv · cs.RO80

    UniWALM: 统一世界-动作-语言模型用于具身机器人控制

    研究人员提出 UniWALM,一种统一的世界-动作-语言模型,在单一共享表征中学习视频、动作和语言。该模型在组合式抓取放置任务中表现优于基线模型,在真实世界的找物品任务中成功率从 11.1% 提升至 61.1%。

    推荐理由:通过语言-感知-动作的统一表征,UniWALM 在机器人控制任务中实现了记忆依赖行为,无需外部规划器。

  3. arXiv · cs.RO40

    Give the Model a Finger: Developmentally Aligned Evaluation of Counting in Vision-Language Models

    研究通过让视觉语言模型模拟儿童数指动作,在9个模型、682张图像和7种测试条件下发现,模型的精确计数范围差异显著(R80从3到150点);标记作为干预手段仅对4个模型在小规模计数照片中有效,但作为测量工具可追踪模型推理过程;模型遵循指令遍历顺序却常因顺序反转改变答案,与儿童行为存在差异。

  4. arXiv · cs.RO55

    RoboCasa-Shift:视觉-语言-动作策略在长时序家庭操作中的阶段感知鲁棒性评估

    Haocheng Wang等人提出RoboCasa-Shift基准,用于评估视觉-语言-动作(VLA)策略在分布变化下的鲁棒性。研究在GR00T N1.5模型上测试了四个长时序任务,发现鲁棒性响应在不同因素和任务间差异显著,且严重程度增加并不总是导致单调退化。研究表明VLA鲁棒性应被视为执行的多维特性,而非单一的端到端性能指标。

10月20日周二
  1. HuggingFace Daily Papers65

    Vision-Language-Delta-Action: 学习紧凑Delta作为机器人操作的可操作转换接口

    本文提出Vision-Language-Delta-Action(VLDA)范式,将完整未来预测重构为紧凑可操作的转换建模。其核心是紧凑的Delta变量,作为视觉语言理解与动作生成的接口。实验表明VLDA提高了长时一致性、鲁棒性和泛化能力。

    推荐理由:通过紧凑的Delta变量作为视觉语言理解与动作生成的接口,VLDA模型降低了机器人学习负担,提升了长时一致性和鲁棒性。

  2. arXiv · cs.RO70

    GPT-6 Astra 是一种接触密集操作的原生视觉触觉策略

    研究表明 GPT-6 Astra 能够直接解释基于视觉的触觉图像并利用其接触线索进行操作,在19个模拟任务中达到93.8%的平均成功率,超过专业基线22.9个百分点。视觉触觉输入下表现优异,纯视觉性能也领先于基线,轨迹分析显示其具有主动探测、谨慎抓取等能力。

    推荐理由:GPT-6 Astra 直接解读视觉触觉图像并用于操作,挑战了专业策略在接触密集任务中的垄断地位。

  3. 雷锋网75

    复旦贾萧松:VLA、WAM新架构层出不穷,但真正的瓶颈不在模型架构

    复旦大学可信具身智能研究院助理教授贾萧松分享了他从自动驾驶到具身智能的研究历程,指出技术路线从模块化到端到端,从模仿学习到强化学习,再到世界模型的转变。他认为模仿学习存在根本局限,强化学习才是解决复杂决策问题的关键,但面临规模化挑战。具身智能领域将面临与自动驾驶类似的问题,需要先模仿再强化,并通过世界模型提高训练效率。

  4. TechXplore · Robotics75

    首尔国立大学开发Dynin-Robotics模型,预测未来场景指导机器人行动

    首尔国立大学研究团队开发了Dynin-Robotics,一种能够理解人类指令、预测行动后场景并执行任务的机器人基础模型。该模型在四项真实世界机器人操作任务中平均成功率达78.4%,超过NVIDIA和Physical Intelligence的对比模型。研究论文已被NeurIPS 2026会议接受,将于12月发表。

    推荐理由:通过预测场景来指导行动,Dynin-Robotics 在四项机器人操作任务中达到78.4%成功率,超越NVIDIA和Physical Intelligence模型。

  5. HuggingFace Daily Papers70

    视觉-语言-动作模型的机制性研究:特征并非平等创建

    研究人员开发了解释性管道研究视觉-语言-动作(VLA)模型的计算机制,发现模型编码的任务指令与绝对工作空间坐标绑定,导致对物体位置微小变化敏感。研究团队发布了Action Atlas平台,包含520+训练好的SAEs、79个识别概念和评分的UR10e回放数据。

    推荐理由:通过激活注入揭示视觉-语言-动作模型对绝对坐标的依赖,解释了为何物体位置微小变化就导致任务失败。

  6. HuggingFace Daily Papers45

    RoboCasa-Shift: 长时程家务操作中视觉-语言-动作策略的阶段感知鲁棒性评估

    RoboCasa-Shift 基于 RoboCasa365 构建鲁棒性评测基准,通过单因素扰动和阶段感知诊断分析 GR00T N1.5 在四项长时程任务中的表现。评测涵盖四种扰动因素和三级严重程度,共 1,040 次正式测试,发现鲁棒性随任务和因素变化显著,且退化模式存在非单调性。代码已开源。

10月19日周一
  1. HuggingFace Daily Papers75

    SpatialScout: VLM 智能体能主动探索并映射 3D 场景吗?

    研究团队提出 SpatialScout 基准,用于评估视觉语言模型智能体在主动物体级 3D 映射上的能力。该基准包含 80 个多样化室内场景和 3,140 个目标物体,要求智能体控制相机探索场景并估计物体中心坐标。

    推荐理由:SpatialScout 揭示了当前 VLM 智能体在主动探索和构建精确 3D 地图上的显著差距,最高分模型仅 41.71%,为具身智能研究提供了新基准。

10月18日周日
  1. HuggingFace Daily Papers65

    VLA-Rolling: 通过自适应动作重用实现更少去噪步骤和更好控制

    研究人员提出 VLA-Rolling 框架,通过重用动作尾部减少去噪步骤,在 LIBERO、MetaWorld 等基准测试上实现了最高 1.48 倍加速和 15.08 个百分点的成功率提升。

    推荐理由:通过重用被丢弃的动作尾部,VLA-Rolling 实现了更高效的推理,在降低计算成本的同时提高了成功率。

  2. arXiv · cs.RO65

    SARAM:面向机器人终身学习的稀疏适配器分配与复用合并方法

    SARAM提出了一种终身学习框架,通过复用冻结适配器和仅在选定层引入新适配器,限制存储增长同时保持GPU内存和推理成本与任务流长度无关。在四个LIBERO套件中,SARAM匹配或超过基于适配器的方法,同时每个任务减少最多4.5倍的磁盘状态。在真实UR5机械臂上的实验进一步验证了其在顺序任务流中的保留能力。

    推荐理由:通过复用和稀疏分配适配器,SARAM解决了机器人终身学习中存储和部署成本随任务增长的问题。

  3. arXiv · cs.RO45

    视觉语言模型成功监控中的覆盖偏移研究

    研究发现,机器人策略改进后,视觉语言模型对失败案例的监控敏感性反而降低。在20次托盘放置实验中,成功率从66.8%升至97.0%,但剩余悬停失败被接受的比例从31.1%升至50.0%,这些失败多发生在托盘边缘下方,可能被遮挡。该现象被称为"覆盖偏移",表明任务改进与失败可检测性并非同步提升。

10月17日周六
  1. arXiv · cs.RO65

    EndoVLA-OOV:机器人内窥镜中语言条件下的视野外目标获取

    研究人员提出EndoVLA-OOV,一种用于机器人内窥镜视野外目标获取的语言条件视觉-语言-动作策略。该策略在跨 embodiment 评估中达到93.3%的目标获取成功率,数据集从312扩展到1050个片段后,成功率从40.0%提升到90.0%。研究团队提供了包含约262k观测-动作对的开源VLA数据集。

    推荐理由:语言条件下的视野外目标获取在机器人内窥镜中实现93.3%成功率,展示了语言引导与任务演示扩展的价值。

  2. arXiv · cs.RO55

    视觉-语言-动作模型的关系空间对齐

    Chaoran Zhu提出了一种关系空间对齐方法,用于解决视觉-语言-动作(VLA)模型中直接对齐3D基础模型导致的特征坍缩问题。该方法通过关注点对关系而非点对点对齐,有效将3D空间理解注入VLA模型,在公共基准、新空间推理基准和实际操作场景中均表现出鲁棒性能和增强的空间感知能力。

  3. arXiv · cs.RO70

    Action-Aligned Latent Planning for Versatile Humanoid Loco-Manipulation

    研究人员提出FIBER框架,使用冻结行为基础模型的潜在空间作为人形机器人多样化操作的共享规划表示。在模拟和真实Unitree G1人形机器人上的实验表明,该框架在箱体拾取、门开启和物体抓取任务中取得了42.0%的平均成功率,显著优于传统运动学规划方法。

    推荐理由:通过冻结行为基础模型的潜在空间实现多样化人形机器人操作,成功将多种技能整合为统一规划器。

  4. arXiv · cs.RO65

    场景自适应VLA:通过动态层路由实现高效自动驾驶

    Yujia Yang提出Scene-Adaptive VLA框架,利用动态层路由根据实时场景调整活跃参数,在Bench2Drive基准测试中,将先进VLA模型的推理计算开销降低53.5%,同时保持驾驶和语言能力几乎不受影响。代码已开源于GitHub。

    推荐理由:通过动态层路由将计算开销降低53.5%,为车载VLA模型提供实时推理新思路。

  5. arXiv · cs.RO65

    StopWatch: 物体导航中的目标定位

    Xinhao Liu 提出了 StopWatch 方法,解决了物体导航任务中的目标定位问题。通过明确目标定位,该方法在六个基准测试上达到了最先进的结果,并修正了这些基准测试中的标注缺陷。分析表明,在真实目标定位的情况下,其策略几乎达到了生成演示的专家水平。

    推荐理由:目标定位是物体导航任务中的关键瓶颈,明确目标定位方法显著提升了六项基准测试的性能。

10月16日周五
  1. arXiv · cs.RO65

    LIBERO-PeRM: 个性化机器人操作基准测试

    Zhixu Li等人提出LIBERO-PeRM基准测试,专注于具身智能体的偏好学习,包含312个任务和五个研究问题,评估当前VLA策略在零样本个性化、偏好学习和冲突处理等方面的表现。

    推荐理由:论文提出了首个针对个性化机器人操作的基准测试LIBERO-PeRM,填补了该领域评估空白。