HuggingFace Daily Papers· Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols, Eldon Schoop·· 2 天前精选AI 评分65
iPrefBench: 面向个性化移动使用智能体的用户中心评测基准
iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
AI 导读
研究人员提出iPrefBench，一个用于评估个性化移动使用智能体的基准，包含130个未明确指定的用户任务，覆盖26个应用。评测显示7个前沿智能体在任务执行上表现良好(最高91.6%)，但在个性化任务完成上存在显著差距(最高47.7%)，特别是在必要信息请求方面表现不佳。
推荐理由
iPrefBench揭示了当前移动智能体在个性化任务完成上的显著短板，正确执行率高但个性化成功率低，暴露了'何时该问'的关键挑战。
来源：HuggingFace Daily Papers · arxiv.org