HuggingFace Daily Papers· Xialie Zhuang, Mingcong Lei, Zunhai Su, Ri Liu, Jianjin Li, Peixian Ma, Jia Pan, Ngai Wong, Guanhua Chen, Chuan-Wei Kuo·· 6 天前AI 评分40
DecisionPivot: LLM 系统决策模型的诊断基准
DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
AI 导读
DecisionPivot 包含 48 项任务和 40,033 个样本，覆盖七种决策角色，通过对比组准确率、概率排序和校准等指标评估 40 个决策模型和 14 个通用模型。
来源：HuggingFace Daily Papers · arxiv.org