Hugging Face Blog·· 54 分钟前精选AI 评分75
LLM能否可靠判断科研想法的创新性
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
艾伦人工智能研究所发布研究，评估大语言模型作为创新性评估工具的可靠性。研究显示，六个LLM模型（GPT-5.1/5.2/5.4、Claude Sonnet 4.5、Claude Opus 4.5/4.6）在评估科研想法创新性时表现不稳定，提示词微小变化可导致判断差异超过50个百分点。研究同时发布了基准测试数据集和自动化评估流程。
推荐理由
LLM评估科研创新性的可靠性远低于预期，提示词微小变化可导致判断差异超过50个百分点，当前方法难以支撑科学发现自动化。
来源：Hugging Face Blog · huggingface.co