跳到正文
HuggingFace Daily Papers· Haojian Huang, Pukun Zhao, Zexi Li, Yehang Zhang, Yangkai Wei, Wenqian Li, Han Yang, Kaiwen Zhou, Ying-Cong Chen, Yinchuan Li·· 12 天前精选AI 评分75

前沿视觉语言模型智能体是否已准备好成为机器人通用专家?基于具身智能竞技场的实证研究

Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena

AI 导读

研究团队引入具身智能竞技场(Embodied Agent Arena),评估了十个视觉语言模型智能体在几何、空间推理、功能 affordance、任务规划和操作五个方面的表现。测试包含1000个案例,结合了32个已建立的数据源和GeoProbe基准测试。结果显示闭源模型在所有五个领域领先,而开源视觉语言模型展示了有用的空间推理能力,但在规划和操作成功率上明显较低。

推荐理由

研究通过千例测试评估了十大视觉语言模型在机器人任务中的表现,揭示了闭源模型在规划与操作上的优势与开源模型的局限。

来源:HuggingFace Daily Papers · arxiv.org