HuggingFace Daily Papers· Lingfei Qian, Yan Wang, Xueqing Peng, Yupeng Cao, Yuechen Jiang, Zhuohan Xie, Anke Xu, Wenbo Cao, Jiarui Chen, Zehan Li, Jimin Huang, Alejandro Lopez-Lira, Yuehua Tang, Sophia Ananiadou, Jian-Yun Nie·· 6 天前精选AI 评分65
大模型不具备自知之明：金融回测中时间自我知识基准测试
LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting
AI 导读
研究团队提出FinDendro基准测试，包含2226个 dated 美国事实，测试显示GPT-5能正确回答76%的受控事实但仅声称知道38%，且对声称不知道的事实仍有61%正确率。声明日期可减少但无法消除知识泄露，模型知识声明可能超出实际知识边界达七个季度。
推荐理由
大模型在金融回测中会高估自己的知识边界，声明日期可减少但无法消除知识泄露，需行为测量而非依赖自我报告。
来源：HuggingFace Daily Papers · arxiv.org