HuggingFace Daily Papers· Zhiyong Cao, Hengjie Zhu, Yongxin Wang, Xuchen Li, Jintao Li, Shuxia Liu, Dunqiang Liu, Bo Wang, Kairan Zhang, Cong Lin, JiangDi Yu, Siyuan Liu, Sijia Yao, Yi-Liang Wei, Lingxu Ma, Aijia Wang, Anxin Chen, Zixian Wei, Xiang Ruan, Ruizhi Xu, Ruqian Shi, Baihua Xiao, Sicheng Zhou·· 5 天前精选AI 评分65
Trial by Trace: 基准测试AI智能体支撑系统的可靠性与故障归因
Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
AI 导读
研究团队提出TraceTrial-Bench基准测试，将智能体支撑系统可靠性分为七个组件，包含95个专家级任务。通过对4个支撑系统、9个模型和95个任务的3,420次运行评估，发现支撑系统得分为59.8%至72.0%，31.1%的运行案例在至少一个支撑系统标准失败的情况下仍成功完成任务。
推荐理由
首个针对AI智能体支撑系统的可靠性基准测试，31.1%的运行案例显示任务成功但支撑系统失败，揭示评估盲区。
来源：HuggingFace Daily Papers · arxiv.org