WeVisOne-VL: 从目标到像素的统一视觉感知
WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。
推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。
WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。
推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。
研究者提出多模态具身智能体(MMEAs)概念,引入PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。通过64个基准测试分析,发现当前评测过度关注行动能力,而预测和验证能力评估严重不足,揭示了物理环境对智能体设计的挑战。
同一件事,精选收录的是《多模态具身智能体:从计算机使用到机器人使用的统一能力视角》
本文提出多模态具身智能体(MMEAs)概念,定义了PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。研究分析了从计算机使用到机器人使用的转变面临的五大物理约束,并指出当前64个基准测试中仅有5个评估预测能力,3个评估验证能力,存在评测不平衡问题。
推荐理由:从计算机使用到机器人使用的多模态智能体转变面临五大物理约束,当前评测过度关注执行而忽视预测与验证能力。
Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。
推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。
Pengying Wu提出CLOSER框架,通过视觉语言模型验证与主动感知结合,在物体目标导航任务中提升成功率3.6个百分点,路径长度加权成功率提高2.0个百分点。该框架可在本地运行并集成到现有系统中无需重新训练。
推荐理由:通过主动验证减少具身导航中的误判,CLOSER框架在提升成功率的同时降低了路径长度。
CoGaussian 提出开放词汇协同语义占用预测框架,通过基础模型对齐的稀疏3D高斯表示多智能体几何与语义信息融合。在 Semantic-OPV2V 基准上超越现有开放词汇单智能体方法,提升多机器人系统场景理解能力。
研究人员提出PhysCanvas,一种统一多模态的视觉触觉世界模型,用于接触密集型机器人操作。该模型整合多视角RGB、触觉图像、标记位移、任务状态和动作,通过一致性感知后训练将世界模型与真实世界成功率的相关性从0.602提升至0.885,并将策略在真实世界中的成功率从59.1%提升至70.8%。
推荐理由:通过统一视觉与触觉模态建模,PhysCanvas将机器人策略评估与学习的成功率相关性提升至88.5%,解决了仿真与真实世界接触动力学不一致的难题。
Noam Rotstein提出了一种新模型,能够协同生成任意骨骼结构的3D运动与视频,并自动定位相机位置将运动放置到3D场景中。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于文本描述,且运动能响应周围场景。
推荐理由:通过分离运动模型与视频模型,实现了任意骨骼结构的3D运动与视频的协同生成,解决了现有方法仅支持人类骨骼或参数量过大的问题。
研究团队提出 Video-Point Model (VPM),一种基于多视角视频和语言指令的4D世界模型,可预测未来视频和3D点轨迹。VPM-Data 数据集和 VP-WorldBench 评测基准支持训练,点监督提升视频保真度和3D运动准确性。机器人控制扩展中,动作令牌与视频联合去噪,提高模拟和真实机器人操作成功率。
Jinghan Gao提出PanoGraphGS框架,整合全景3D高斯表示学习与分层3D场景图构建。该方法在共享高斯几何上学习语义和实例特征,支持新视角全景分割和高斯级全景解码。在Replica和NaviGS数据集上,PanoGraphGS在物体节点准确率上超越最强基线50个百分点以上,并在2D全景分割任务中达到最先进性能。研究团队同时发布了NaviGS全景场景理解数据集。
研究通过让视觉语言模型模拟儿童数指动作,在9个模型、682张图像和7种测试条件下发现,模型的精确计数范围差异显著(R80从3到150点);标记作为干预手段仅对4个模型在小规模计数照片中有效,但作为测量工具可追踪模型推理过程;模型遵循指令遍历顺序却常因顺序反转改变答案,与儿童行为存在差异。
研究团队提出RoboJudge-Bench基准,用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频,测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集,并基于此训练出RoboJudge-9B模型,在评测中达到与人类判断的最高一致性,皮尔逊相关系数达0.719,比最佳基线模型Gemini-3.7-Flash高出0.089。
推荐理由:首个系统性评测多模态大模型对具身视频生成判断能力的基准,揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。
Oliver Hausdörfer提出一种多视角潜在动作模型(LAM),通过交叉注意力解决深度和遮挡问题,将同步多摄像头视图压缩为潜在动作。实验表明,双视角LAM预训练将真实6D动作解码准确率提高17%,下游策略成功率提升13.5%,单次跨具身学习即可实现技能迁移,硬件实验中成功率提升20%。
推荐理由:多视角潜在动作预训练将6D动作解码准确率提升17%,证明视频与机器人数据互补且任务依赖性强。
研究团队在RoboColiseum平台上对GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon四个模型进行了多维度比较评估,涵盖指令跟随、空间推理、通用操作和鲁棒性四个方面。结果显示所有模型在指令跟随上表现优异,空间推理能力强,但通用操作能力较弱;Astra在指令跟随和鲁棒性上领先,Opus在空间推理、通用操作和整体性能上领先。
推荐理由:大模型在机器人任务上展现出指令理解与空间推理优势,但执行能力仍存明显差距,模型间互补性强。
研究表明 GPT-6 Astra 能够直接解释基于视觉的触觉图像并利用其接触线索进行操作,在19个模拟任务中达到93.8%的平均成功率,超过专业基线22.9个百分点。视觉触觉输入下表现优异,纯视觉性能也领先于基线,轨迹分析显示其具有主动探测、谨慎抓取等能力。
推荐理由:GPT-6 Astra 直接解读视觉触觉图像并用于操作,挑战了专业策略在接触密集任务中的垄断地位。
DeepSeek发布DeepSeek-V4.1-Flash-1017版本,通过基于自反馈的强化学习提升从零构建完整项目的能力,在SWE v1.1和Terminal-Bench 4.0评测中表现优异。同时,DeepSeek在具身智能领域进行多笔投资,包括宇树科技、Winverse AI和逐际动力,加速从数字世界向物理世界延伸的战略布局。
StreamEval 是一个统一的交互式流式视频生成基准,涵盖五个任务:头像对话、头像表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例,通过四个维度评估模型性能:任务执行、状态一致性、视觉保真度和视听协调。评估37个模型后发现,高视觉质量和身份保留并不一定可靠的任务执行或持续的状态一致性。
研究人员开发了ACE-Brain-0.6模型,通过结合机器人操作记录和多样化视觉数据的数据流水线,在约150万样本上微调Qwen3.5-9B。该模型在七个公共空间定位基准中的四个上超越GPT-6 Astra,平均得分为75.41,比Astra的73.68更高。研究显示,通过多样化来源的可验证定位监督可增强开放9B模型的空间感知能力。
推荐理由:通过150万样本训练的9B模型在空间感知基准上超越GPT-6 Astra,验证了多样化数据对具身智能的强化作用。
研究团队提出 FocusGUI,一种轻量级适配器,能动态优先处理多模态输入,解决GUI智能体中的连续注意力分散问题。在四种多模态骨干模型上,平均将类型匹配度提高33.2,精确匹配度提高3.0倍,比现有最佳增强方法提高30.1。
推荐理由:FocusGUI 通过动态优先处理多模态输入,解决了GUI智能体中的连续注意力分散问题,显著提升了任务匹配度。
研究提出基于法律偏序博弈(posetal games)的多智能体运动规划框架,将抽象法律指南自动转化为具体场景下的博弈策略。该框架通过信念博弈协议协调智能体,无需公开私有偏好即可恢复真实均衡解,并在海事导航场景中验证了规则合规性与可追溯性。