跳到正文
10月21日周三
  1. arXiv · cs.RO65

    RoboJudge: 多模态大模型作为具身视频生成的评判者

    研究团队提出RoboJudge-Bench基准,用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频,测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集,并基于此训练出RoboJudge-9B模型,在评测中达到与人类判断的最高一致性,皮尔逊相关系数达0.719,比最佳基线模型Gemini-3.7-Flash高出0.089。

    推荐理由:首个系统性评测多模态大模型对具身视频生成判断能力的基准,揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。

  2. arXiv · cs.RO55

    RoboCasa-Shift:视觉-语言-动作策略在长时序家庭操作中的阶段感知鲁棒性评估

    Haocheng Wang等人提出RoboCasa-Shift基准,用于评估视觉-语言-动作(VLA)策略在分布变化下的鲁棒性。研究在GR00T N1.5模型上测试了四个长时序任务,发现鲁棒性响应在不同因素和任务间差异显著,且严重程度增加并不总是导致单调退化。研究表明VLA鲁棒性应被视为执行的多维特性,而非单一的端到端性能指标。

  3. arXiv · cs.RO70

    前沿大语言模型进入机器人领域:在RoboColiseum上的跨模型评估

    研究团队在RoboColiseum平台上对GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon四个模型进行了多维度比较评估,涵盖指令跟随、空间推理、通用操作和鲁棒性四个方面。结果显示所有模型在指令跟随上表现优异,空间推理能力强,但通用操作能力较弱;Astra在指令跟随和鲁棒性上领先,Opus在空间推理、通用操作和整体性能上领先。

    推荐理由:大模型在机器人任务上展现出指令理解与空间推理优势,但执行能力仍存明显差距,模型间互补性强。

10月20日周二
  1. arXiv · cs.RO70

    RoboValue: 用于机器人价值模型统一评估的细粒度仿真与真实世界基准

    研究人员提出RoboValue基准,用于统一评估机器人价值模型,涵盖任务状态理解、时间进度监控、故障恢复推理和价值一致性四个维度。该基准包含15个仿真和20个真实世界操作任务,评估结果显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误。

    推荐理由:RoboValue基准揭示了现有机器人价值模型在细粒度评估中的不足,为价值监督提供了具体改进方向。

  2. HuggingFace Daily Papers55

    StreamEval: 评估交互式流式视频生成模型

    StreamEval 是一个统一的交互式流式视频生成基准,涵盖五个任务:头像对话、头像表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例,通过四个维度评估模型性能:任务执行、状态一致性、视觉保真度和视听协调。评估37个模型后发现,高视觉质量和身份保留并不一定可靠的任务执行或持续的状态一致性。

10月17日周六
  1. arXiv · cs.RO70

    LIBERO-Pro2.0: 评估具身基础模型鲁棒性的基准测试

    Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试,用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预,涵盖六个维度,共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略,发现在运行时分布偏移下,模型平均性能下降26.5个百分点,最高达32.5个百分点,突显了名义基准性能与分布偏移鲁棒性之间的差距。

    推荐理由:LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距,平均下降26.5个百分点,凸显了系统性鲁棒性评估的必要性。