WeVisOne-VL: 从目标到像素的统一视觉感知
WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。
推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。
自动盯住上百个信源,用模型摘要、打分、精选,把同一件事的多篇报道归到一起,每天早上出一份日报。聚焦机器人、AI 与财经投资。
WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。
推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。
Qi Lv提出SkeLAM模型,一种骨架引导的潜在动作模型,用于机器人世界建模。该模型将潜在动作分解为基于机器人骨架监督的运动学组件和保留补充视觉动力学的残差组件,在DROID数据集上相比DreamDojo将末端执行器ADE降低19.5%,LPIPS降低11.1%,并实现了零样本人类到机器人的运动迁移。
推荐理由:通过骨架监督分解潜在动作,SkeLAM模型显著提升了机器人世界模型的运动控制精度和零样本迁移能力。
Yufeng Liu等人提出Echo框架,结合任务状态信号学习与紧凑设计,在单一视觉语言动作模型中实现状态预测与动作生成。该框架通过停止和失败信号表示任务状态,与机器人动作一起去噪,无需帧级进度标注即可区分执行状态。真实世界操作实验表明,Echo能准确预测任务状态并提升策略性能。
推荐理由:通过任务状态信号与动作联合去噪,Echo让机器人能自主判断任务完成与失败,减少了对细粒度标注的依赖。
Junzhe He提出了一种学习框架,通过基于注意力的接触规划器和接触条件跟踪器,让人形机器人在复杂地形上实现自然协调运动。该框架结合了强化学习和参考方法的优势,使用运动数据作为训练先验,同时保持通过强化学习探索环境相关行为的能力。
推荐理由:基于注意力的接触规划器将运动数据作为训练先验,让人形机器人在复杂地形上实现自然协调运动。
研究人员提出DiffDreamer框架,将学习到的世界模型与可微分仿真紧密结合,用于四旋翼动态门竞速等任务。该方法通过分解目标函数,分别处理不可微分的任务奖励和可微分的运动奖励,实验显示其在训练收敛速度和最终性能上优于多种基线方法。
推荐理由:将世界模型与可微分仿真耦合,解决了四旋翼控制中环境动态与机器人自身动态的耦合问题,提升了训练收敛速度和最终性能。
IROS 2026 最佳论文奖颁给 LT-Mem,研究让机器人重访同一空间时能完整保留每个物体的位置变迁史。国内具身初创公司贝塔无限发布 BetaMem 全时空多模态记忆架构,在四项代表性记忆基准评测中均取得 SOTA 成绩,解决了机器人长期记忆的关键问题。
推荐理由:把记忆拆分为证据与状态,让机器人从单次执行器进化为长期同事,这一系统设计解决了具身智能的核心痛点。
Zhaohui Yang等人提出SP-HLM框架,结合五个关键身体姿态与潜在运动先验,实现人形机器人的操作控制。该框架包含SP-VLA视觉语言动作模型预测稀疏姿态,SP-MGM运动生成模型重建全身动作,以及SP-GMT通用运动跟踪器实现全身控制。实验表明该方法在运动跟踪、全身协调和操作成功率上优于现有方法。
推荐理由:通过稀疏姿态驱动接口分离任务意图与全身协调,解决了人形机器人操作中的控制难题。
研究人员提出了一个统一的闭环操作框架,用于评估前沿AI模型在LIBERO-10基准测试中的表现。测试包括GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5、Claude Opus 5.5和Gemini-4 Argon六个模型,在三种推理努力水平下进行了1800次评估。
推荐理由:前沿AI模型在机器人操作任务中成功率最高仅44%,推理能力转化为可靠物理动作仍是挑战。
Likui Zhang提出AtomicRL框架,通过语义感知策略优化(SAPO)和瓶颈自适应目标探索(BATE)解决VLA模型在长时程任务中的信用分配问题。在LIBERO-LONG和CALVIN ABC-D数据集上,相比PPO方法分别提升3.6%和9.5%的性能,结合Real2Sim2Real管道后,实际机器人任务性能平均提升21.3%。
推荐理由:通过原子任务结构解决长时程机器人操作中的信用分配难题,Real2Sim2Real管道使仿真到现实迁移效率提升21.3%。
Sriyash Poddar 提出 ASTEROID 框架,通过学生-教师监督学习让机器人在部分可观测环境中学习测试时探索。该方法在11种不同环境中表现优异,返回率提高约2倍,交互次数比强化学习减少约100倍,在仿真到真实机器人操作中成功率提升40%。
推荐理由:ASTEROID 框架通过不对称在线策略蒸馏,让机器人在不确定环境中高效探索,比强化学习减少99%交互次数。
本文提出多模态具身智能体(MMEAs)概念,定义了PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。研究分析了从计算机使用到机器人使用的转变面临的五大物理约束,并指出当前64个基准测试中仅有5个评估预测能力,3个评估验证能力,存在评测不平衡问题。
推荐理由:从计算机使用到机器人使用的多模态智能体转变面临五大物理约束,当前评测过度关注执行而忽视预测与验证能力。
Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。
推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。
Yunhao Luo 提出 PhysiCalWorld 方法,通过上下文提示而非微调或物理建模来校准世界模型的实例特定动力学。该方法将探索性交互片段编码为紧凑的物理描述符令牌,显著提高了滚动预测准确性和视觉规划成功率,并在训练物理范围之外表现出泛化能力。
推荐理由:通过上下文提示而非微调实现世界模型的物理校准,为具身智能提供了更准确的场景预测能力。
Zhuoyang Liu等人提出AW-0框架,将代码规划与视频、动作预测整合为三个耦合的生成流,在RoboTwin 2.0和双臂操作任务中表现优于VLA和WAM基线模型。
推荐理由:AW-0框架首次将代码规划与视频、动作预测耦合,为机器人提供了可复用的技能库,弥合了预测与执行间的鸿沟。
研究人员提出ALPS,一种预训练的视觉状态编码器,能够统一物理状态信息、原生语言对齐和像素重建三种能力。在LIBERO评估中,ALPS在ViT-B模型中实现了最低的聚合状态探测误差,同时保持了强大的语言对齐和准确的像素重建能力。
推荐理由:ALPS通过统一物理状态、语言对齐和像素重建三种能力,为世界模型提供了更全面的视觉基础。
Rodion Shkokov提出AOV-GS系统,使用冻结的SAM和CLIP模型引导机器人探索,构建支持开放词汇语义查询的3D地图。在Replica和Matterport3D数据集上,该方法相比纯几何主动规划提升了语言场mIoU 1.3-1.8个百分点,同时保持新视角PSNR相当。代码已公开。
推荐理由:冻结基础模型引导机器人探索,无需人工标注即可构建开放词汇语义地图,提升语义查询能力。
该论文提出PRISM框架,将深度噪声解耦为感知失效和测量不准确两种模态,利用3D视觉基础模型特征作为空间语义先验。实验表明,PRISM在嘈杂深度合成中达到最先进保真度,并在下游机器人实验中实现92.1%的平均成功率。
推荐理由:将深度噪声解耦为感知失效和测量不准确两种模态,为机器人在真实世界中的感知提供了新思路。
研究人员提出SERA(Self-Evolving Robotic Agent)框架,通过可编辑的harness将视觉语言模型组织为机器人智能体,利用环境rollouts实现自我进化。在RoboMME测试中,SERA通过自主选择实现了51.38%的整体成功率,相比没有自我进化的44.38%有显著提升。这种方法解决了历史依赖操作中的非马尔可夫问题,表明智能体规划是解决此类机器人操作任务的有前景方向。
推荐理由:通过可编辑的harness将VLM组织为机器人智能体,利用环境rollouts实现自我进化,解决了历史依赖操作中的非马尔可夫问题。
研究人员提出HarnessAdapt-RL方法,在强化学习过程中同时训练智能体策略并适应其工具链。在9B基础模型上,该方法在SWE-bench Verified、Multilingual和Pro基准上分别比GRPO提高9.8、12.6和6.4个百分点,优于人工设计的OpenHands工具链。机制级技能的提升在评估后移除仍能保持,但部署时移除工具和 hooks 会损失最多7.7个百分点性能。
推荐理由:训练智能体时同时优化模型与工具链,比单独训练模型提升近10个百分点,但部署时需移除部分技能以保持性能。
研究人员提出Agent S4,一种自主计算机使用科学家,能从任务经验中构建进化型智能体界面。在OSWorld V2测试中,使用Qwen3.8-27B和进化界面的Agent S4达到21.3%二进制分数,是相同模型固定界面的3.8倍,性能超越GPT-5.5(13.0%)和Claude Opus 4.8(20.6%),且成本仅为两者的4.3%和1.5%。
推荐理由:让智能体自主进化界面设计,比固定接口提升3.8倍性能,且成本仅为GPT-5.5的4.3%