HuggingFace Daily Papers· Qingan Liu, Juntong Feng, Yue Zhu, Yujie Cheng, Xinzhe Han, Shuai Hao, Yunzhi Zhuge, Haiwen Diao, Huchuan Lu·· 13 天前AI 评分40
Game2Real-Bench: 玩具游戏能否揭示并迁移至真实世界视觉推理?
Game2Real-Bench: Do Toy Games Reveal and Transfer to Real-World Visual Reasoning?
AI 导读
Game2Real-Bench 基准测试研究玩具游戏与真实世界视觉推理的关联性,包含1000个程序生成游戏样本和400个真实世界样本,评估25个VLMs后显示游戏与真实表现强相关(Pearson/Spearman相关系数0.935)。约束推理能力在部分模型中通过游戏演示得到提升,但细粒度感知能力下降。基准测试、数据集及代码已开源。
来源:HuggingFace Daily Papers · arxiv.org