HuggingFace Daily Papers· Haoyu Zhao, Sitian Tu, Yuxuan Huang, Huichi Zhou, Zhangyue Yin, Jiahao Huang, Jingyuan Xu, Tianmiao Shi, Jin Shi, Nianxi Zhang, Yangmiao Zhang, Zhuolang Chan, Huiyan Hu, Chenchao Sheng, Yaqing Luo, Yue Chen, Huaxiu Yao, Meng Fang, Jun Wang·· 3 天前精选AI 评分65
持续学习考试：基准测试LLM智能体中的长期RSI与经验学习
Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
AI 导读
研究人员推出持续学习考试(CLE)基准，包含120个人类编写的任务，每个任务分为五级，共600级跨越89个专业角色。评估显示，提供反馈和允许修改后，前沿LLM系统的完成率中位数提高5.3个百分点，但最佳系统仅完成47.7%的级别和23.3%的全部任务。
推荐理由
600级专业任务阶梯揭示LLM智能体从经验中持续学习的真实难度，最佳系统仅完成23.3%任务全通关。
来源：HuggingFace Daily Papers · arxiv.org