跳到正文
HuggingFace Daily Papers· Monojit Banerjee, Zhujun Lan, Defu Cao·· 5 天前精选AI 评分65

CRM-Agent-Bench: 在状态化企业环境中评估工具使用型智能体的基准测试

CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments

AI 导读

研究团队推出 CRM-Agent-Bench,一个包含 555 个状态化多轮任务的基准测试,覆盖九个商业领域和 36 个能力标签。该基准通过可执行契约评估智能体的结果、轨迹、运营可行性和策略合规性,对十六个系统的评估显示严格成功率在 64.32% 到 83.60% 之间,领先系统在成本和领域可靠性上存在显著差异。

推荐理由

CRM-Agent-Bench 首次将企业环境中的智能体评估从结果准确性扩展到执行合规性,暴露了当前系统在成本与可靠性上的显著差异。

来源:HuggingFace Daily Papers · arxiv.org