arXiv · cs.RO· Xueyang Zhou·· 8 天前精选AI 评分70
LIBERO-Pro2.0: 评估具身基础模型鲁棒性的基准测试
LIBERO-Pro2.0: A Benchmark for Evaluating the Robustness of Embodied Foundation Models
AI 导读
Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试，用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预，涵盖六个维度，共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略，发现在运行时分布偏移下，模型平均性能下降26.5个百分点，最高达32.5个百分点，突显了名义基准性能与分布偏移鲁棒性之间的差距。
推荐理由
LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距，平均下降26.5个百分点，凸显了系统性鲁棒性评估的必要性。
来源：arXiv · cs.RO · arxiv.org