HuggingFace Daily Papers· Jianing Yin, Ziyi Chen, Hao Wang, Yiyou Sun, Zijian Jin, Dawn Song, Daoan Zhang·2026-10-19 04:00· 7 天前AI 评分45

VerifierBench: 评测 LLM Agent 可执行验证器生成的基准测试

VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents

AI 导读

VerifierBench 包含 222 项任务和 4,993 个隐藏测试案例，覆盖工具调用、状态和代码验证场景。19 个模型的标准化平衡准确率在 10.6 至 62.1 之间，验证器对无效解决方案的拒绝可靠性高于对有效解决方案的接受。项目页面和数据集已公开。