HuggingFace Daily Papers· Monojit Banerjee, Zhujun Lan, Defu Cao·· 5 天前精选AI 评分65
CRM-Agent-Bench: 在状态化企业环境中评估工具使用型智能体的基准测试
CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments
AI 导读
研究团队推出 CRM-Agent-Bench,一个包含 555 个状态化多轮任务的基准测试,覆盖九个商业领域和 36 个能力标签。该基准通过可执行契约评估智能体的结果、轨迹、运营可行性和策略合规性,对十六个系统的评估显示严格成功率在 64.32% 到 83.60% 之间,领先系统在成本和领域可靠性上存在显著差异。
推荐理由
CRM-Agent-Bench 首次将企业环境中的智能体评估从结果准确性扩展到执行合规性,暴露了当前系统在成本与可靠性上的显著差异。
来源:HuggingFace Daily Papers · arxiv.org