#评测/基准

哈佛研究显示AI审稿比专家强

哈佛大学研究人员发表论文，对比134组AI与人类审稿意见，结果显示AI在七个评价维度上全面领先人类专家。AI事实错误比例仅5.5%，人类高达15.9%。研究使用Claude Opus 4.8生成审稿意见，GPT-5.5担任评委，三位前期刊主编在30次盲评中有26次选择AI。

AgentVQA: 智能体视觉理解统一评测基准

研究团队发布AgentVQA评测基准，涵盖Web Agents、Robotics、Egocentric Videos、Games和Spatial Planning五个领域，从23个数据集中选取1000个真实场景样本。评测显示22个模型中最高准确率仅58.5%，主要问题在于视觉状态跟踪而非任务理解或逻辑推理。

FrontierCS 2: 计算机科学研发基准测试

研究团队发布FrontierCS 2基准测试，包含48个开放性任务，评估LLM智能体在计算机科学前沿研发中的贡献能力。最佳表现为Claude Opus 5.5，通过58%的测试任务，涵盖机器学习系统、高性能计算、数据库、安全和机器人等13个领域。

EvaOmni: 面向视听推理的证据基准测试

EvaOmni 包含 392 个视频和 1,027 个人工标注的问答对，覆盖 15 项能力，要求模型同时返回答案和证据区间。Gemini3.7-Flash 在 7 个开源和 17 个闭源 Omni LLM 中表现最佳，整体准确率 79.4%，但证据定位能力仍有提升空间。

DecisionPivot: LLM 系统决策模型的诊断基准

DecisionPivot 包含 48 项任务和 40,033 个样本，覆盖七种决策角色，通过对比组准确率、概率排序和校准等指标评估 40 个决策模型和 14 个通用模型。

Token-Set 选择干扰 POPE：VLM 幻觉评估中 Yes/No 提取的系统审计

研究发现 LLaVA-1.5-7B 在 POPE 基准上的 F1 分数受 token 读取方式影响，使用 8 个 token 查询时 adversarial 分数达 0.8713，比原方法高 6.13 点。该干扰效应跨四个 VLM 和三个分词器家族普遍存在， tokenizer 派生的读取方式能保持 0.80-0.92 的 F1 分数。

RoboValue: 用于统一评估机器人价值模型的细粒度模拟与真实基准

研究团队推出RoboValue基准，包含15个模拟和20个真实世界操作任务，用于评估机器人价值模型在任务状态理解、时间进度监控、失败与恢复推理以及价值一致性四个维度的能力。研究发现现有模型在细粒度指令基础、历史依赖进度跟踪和恢复评估方面存在错误，同一语义子任务在不同执行顺序中可能获得显著不同的价值增益。

同一件事，精选收录的是《RoboValue: 用于机器人价值模型统一评估的细粒度仿真与真实世界基准》

VerifierBench: 评测 LLM Agent 可执行验证器生成的基准测试

VerifierBench 包含 222 项任务和 4,993 个隐藏测试案例，覆盖工具调用、状态和代码验证场景。19 个模型的标准化平衡准确率在 10.6 至 62.1 之间，验证器对无效解决方案的拒绝可靠性高于对有效解决方案的接受。项目页面和数据集已公开。

PVBench：通过物体级物理测量量化视频生成中的物理合理性

研究团队发布PVBench基准，通过46个维度评估视频生成的物理合理性，涵盖几何、动力学、守恒定律等七个领域，包含600个提示词，30%涉及物理智能体。该基准结合专业视觉模型进行可验证的物理测量，并验证了自动指标与人类判断的一致性。

视觉语言模型的规模限制：逆规模效应研究

研究系统评估了19个来自四个不同模型家族的视觉语言模型，发现模型规模增大并不总是带来性能提升，在多图像空间推理、视觉感知和大学级STEM知识等领域存在逆规模效应，准确度差距最高超过20个百分点。

策略而非能力：安全评测衡量的是训练中采用的'不安全'定义

研究发现安全评测分数可能取决于训练标签定义而非模型能力，相同架构的十个模型在相同评测上得分差异高达23倍，微调0.03%参数就能让评测结果跨越整个区间。研究建议安全评测应报告污染度、种子下限和评测所依据的定义。

Into the Unknown: 开放科学问题 AI 智能体评测基准

研究团队推出 Into the Unknown 基准，测试 AI 智能体在开放科学问题上的研究能力，要求智能体根据给定论文和研究方向撰写后续论文。9 个前沿智能体在量子计算等 5 个领域各完成 15 篇后续论文，135 篇均未满足全部条件，114 篇未通过完整性检查。代码与数据已公开。