HuggingFace Daily Papers· Seohyun Lee, Jongha Kim, Dohwan Ko, Ji Soo Lee, Seoung Choi, Jayun Ku, Hyunwoo J. Kim·· 6 天前AI 评分45
MMEnterprise-Bench: 评测企业级智能体在多模态演化记录中的表现
MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records
AI 导读
研究者推出 MMEnterprise-Bench 基准,包含 1,613 个基于多模态演化记录的问题,涵盖证据推理、冲突解决和不可回答性三类。评测 10 个多模态大语言模型发现,即使最强模型在处理跨源或时间冲突证据时表现不佳,且增加检索预算未显著提升答案准确性。代码和数据已开源。
来源:HuggingFace Daily Papers · arxiv.org