HuggingFace Daily Papers· Siyuan Ma, Yu Qi, Cheng Ye, Ruotian Peng, Xinyi Xu, Zitiantao Lin, Zedong Cai, Yijian Huang, Weiyang Liu, Siyuan Wang, Yandong Wen·· 7 天前精选AI 评分65
RoboJudge: 多模态语言模型作为具身视频生成的评判者
RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation
AI 导读
研究团队提出RoboJudge-Bench基准，用于评估多模态大模型作为具身视频生成评判者的能力。该基准测量物理遵循和指令对齐两个维度，涵盖800个人类标注视频。基于研究发现，团队构建了RoboJudge-Train数据集并训练出RoboJudge-9B模型，在评估中达到与人类判断的最高一致性，皮尔逊相关系数达0.719，比最佳基线模型Gemini-3.7-Flash高出0.089。
推荐理由
首个系统性评估多模态大模型对具身视频生成判断能力的研究，揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。
来源：HuggingFace Daily Papers · arxiv.org