多模态具身智能体:从计算机使用到机器人使用的统一能力视角
本文提出多模态具身智能体(MMEAs)概念,定义了PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。研究分析了从计算机使用到机器人使用的转变面临的五大物理约束,并指出当前64个基准测试中仅有5个评估预测能力,3个评估验证能力,存在评测不平衡问题。
推荐理由:从计算机使用到机器人使用的多模态智能体转变面临五大物理约束,当前评测过度关注执行而忽视预测与验证能力。
自动盯住上百个信源,用模型摘要、打分、精选,把同一件事的多篇报道归到一起,每天早上出一份日报。聚焦机器人、AI 与财经投资。
本文提出多模态具身智能体(MMEAs)概念,定义了PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。研究分析了从计算机使用到机器人使用的转变面临的五大物理约束,并指出当前64个基准测试中仅有5个评估预测能力,3个评估验证能力,存在评测不平衡问题。
推荐理由:从计算机使用到机器人使用的多模态智能体转变面临五大物理约束,当前评测过度关注执行而忽视预测与验证能力。
研究人员提出HarnessAdapt-RL方法,在强化学习过程中同时训练智能体策略并适应其工具链。在9B基础模型上,该方法在SWE-bench Verified、Multilingual和Pro基准上分别比GRPO提高9.8、12.6和6.4个百分点,优于人工设计的OpenHands工具链。机制级技能的提升在评估后移除仍能保持,但部署时移除工具和 hooks 会损失最多7.7个百分点性能。
推荐理由:训练智能体时同时优化模型与工具链,比单独训练模型提升近10个百分点,但部署时需移除部分技能以保持性能。
研究人员提出Agent S4,一种自主计算机使用科学家,能从任务经验中构建进化型智能体界面。在OSWorld V2测试中,使用Qwen3.8-27B和进化界面的Agent S4达到21.3%二进制分数,是相同模型固定界面的3.8倍,性能超越GPT-5.5(13.0%)和Claude Opus 4.8(20.6%),且成本仅为两者的4.3%和1.5%。
推荐理由:让智能体自主进化界面设计,比固定接口提升3.8倍性能,且成本仅为GPT-5.5的4.3%
Sage-A1.5是一个35B参数的混合专家智能体模型,在A1基础上通过自适应能力组合提升长周期问题解决能力。该模型具有三大改进:智能体编排、验证和开放科学发现,支持任务分解、并行协作、进度检查和策略修订,并能进行探索性科学研究。
推荐理由:通过能力组合实现长周期任务执行与科学探索,Sage-A1.5展示了智能体协作与验证的新路径。
Tianyu Fu等人提出了一种新的缓存工程方案,允许智能体直接控制KV缓存而不修改轨迹或重新填充保留上下文。实验显示,该方案在基准测试中平均提高1.7分,降低27.7%成本,并实现1.2倍输出吞吐量和1.5倍P95请求延迟加速。
推荐理由:通过直接控制KV缓存而非修改轨迹,解决了智能体长任务中的缓存效率问题,但历史依赖性给服务引擎带来新挑战。
研究人员提出WildAWM,一种可扩展的管道,用于合成训练通用计算机使用智能体的可控环境和任务。该环境支持图形用户界面、模型上下文协议服务和命令行接口,完全由开源模型驱动。团队合成了341个长时程环境-任务对,训练后的Qwen模型在8个分布外基准测试中取得显著提升。代码已公开。
推荐理由:通过合成环境训练计算机使用智能体,解决了真实世界交互的安全与扩展难题,验证了开源模型也能构建高质量训练环境。
研究团队提出 FocusGUI,一种轻量级适配器,能动态优先处理多模态输入,解决GUI智能体中的连续注意力分散问题。在四种多模态骨干模型上,平均将类型匹配度提高33.2,精确匹配度提高3.0倍,比现有最佳增强方法提高30.1。
推荐理由:FocusGUI 通过动态优先处理多模态输入,解决了GUI智能体中的连续注意力分散问题,显著提升了任务匹配度。