AgentVQA: 智能体视觉理解统一评测基准
研究团队发布AgentVQA评测基准，涵盖Web Agents、Robotics、Egocentric Videos、Games和Spatial Planning五个领域，从23个数据集中选取1000个真实场景样本。评测显示22个模型中最高准确率仅58.5%，主要问题在于视觉状态跟踪而非任务理解或逻辑推理。
推荐理由：AgentVQA 填补了智能体视觉理解评测的空白，22个模型最高仅58.5%准确率揭示了当前视觉状态跟踪仍是最大瓶颈。
#评测/基准科技财经热点 · 每日精选
自动盯住上百个信源，用模型摘要、打分、精选，把同一件事的多篇报道归到一起，每天早上出一份日报。聚焦机器人、AI 与财经投资。
今日脉搏
具身智能专栏 →268今日入库
2 条进入精选
44/47 信源在线· 3 异常
近 14 天入库走势
近 7 天分类构成
行业 1375财经 1145硬件本体 982AI 产品 740AI 模型 266其他 395
HuggingFace Daily Papers精选AI 评分6565 The Decoder精选AI 评分7676 METR与Redwood Research对OpenAI进行现场审计，发现AI安全监控存在重大漏洞
METR和Redwood Research的研究人员在OpenAI进行了为期三周的现场审计，发现其内部AI行为监控系统存在多个弱点。审计期间，GPT-5.5及以上级别模型的约6%-25%内部智能体响应API流量未被监控，Codex流量中约10%因系统处理压缩事件的方式存在漏洞而未被跟踪。
推荐理由：外部机构对OpenAI进行为期三周的现场审计，发现其AI安全监控系统存在重大漏洞，部分模型流量未被监控，且审计报告大部分内容未公开。
HuggingFace Daily Papers精选AI 评分6565 FrontierCS 2: 计算机科学研发基准测试
研究团队发布FrontierCS 2基准测试，包含48个开放性任务，评估LLM智能体在计算机科学前沿研发中的贡献能力。最佳表现为Claude Opus 5.5，通过58%的测试任务，涵盖机器学习系统、高性能计算、数据库、安全和机器人等13个领域。
推荐理由：将LLM智能体置于真实研发环境测试，58%通过率揭示了当前AI在计算机科学前沿领域的实际贡献能力边界。
arXiv · cs.RO精选AI 评分6565 RoboJudge: 多模态大模型作为具身视频生成的评判者
研究团队提出RoboJudge-Bench基准，用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频，测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集，并基于此训练出RoboJudge-9B模型，在评测中达到与人类判断的最高一致性，皮尔逊相关系数达0.719，比最佳基线模型Gemini-3.7-Flash高出0.089。
推荐理由：首个系统性评测多模态大模型对具身视频生成判断能力的基准，揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。
arXiv · cs.RO精选AI 评分7070 前沿大语言模型进入机器人领域：在RoboColiseum上的跨模型评估
研究团队在RoboColiseum平台上对GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon四个模型进行了多维度比较评估，涵盖指令跟随、空间推理、通用操作和鲁棒性四个方面。结果显示所有模型在指令跟随上表现优异，空间推理能力强，但通用操作能力较弱；Astra在指令跟随和鲁棒性上领先，Opus在空间推理、通用操作和整体性能上领先。
推荐理由：大模型在机器人任务上展现出指令理解与空间推理优势，但执行能力仍存明显差距，模型间互补性强。
Hugging Face Blog精选AI 评分7575 FairStress: 评估LLM决策中人口公平性的新基准
Hugging Face发布FairStress基准，用于评估大语言模型在人口公平性方面的表现。该基准包含300个现实场景，测试模型在面对不同人口身份信息时的决策稳定性，发现模型在少数族裔和多数族裔候选人面前表现出不同的决策抵抗力，存在反刻板印象过度纠正现象。
推荐理由：LLM在决策中存在反刻板印象过度纠正现象，同一论据对少数族裔和多数族裔候选人的影响不对称，现有去偏方法效果有限。
arXiv · cs.RO精选AI 评分7070 RoboValue: 用于机器人价值模型统一评估的细粒度仿真与真实世界基准
研究人员提出RoboValue基准，用于统一评估机器人价值模型，涵盖任务状态理解、时间进度监控、故障恢复推理和价值一致性四个维度。该基准包含15个仿真和20个真实世界操作任务，评估结果显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误。
推荐理由：RoboValue基准揭示了现有机器人价值模型在细粒度评估中的不足，为价值监督提供了具体改进方向。
HuggingFace Daily Papers精选AI 评分7575 视觉语言模型的规模限制：逆规模效应研究
研究系统评估了19个来自四个不同模型家族的视觉语言模型，发现模型规模增大并不总是带来性能提升，在多图像空间推理、视觉感知和大学级STEM知识等领域存在逆规模效应，准确度差距最高超过20个百分点。
推荐理由：研究揭示了视觉语言模型在特定任务上存在逆规模效应，挑战了模型越大越好的普遍假设。
HuggingFace Daily Papers精选AI 评分6565 策略而非能力：安全评测衡量的是训练中采用的'不安全'定义
研究发现安全评测分数可能取决于训练标签定义而非模型能力，相同架构的十个模型在相同评测上得分差异高达23倍，微调0.03%参数就能让评测结果跨越整个区间。研究建议安全评测应报告污染度、种子下限和评测所依据的定义。
推荐理由：安全评测分数可能取决于训练标签定义而非模型能力，微调0.03%参数就能让评测结果跨越整个区间。
arXiv · cs.RO精选AI 评分7070 LIBERO-Pro2.0: 评估具身基础模型鲁棒性的基准测试
Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试，用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预，涵盖六个维度，共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略，发现在运行时分布偏移下，模型平均性能下降26.5个百分点，最高达32.5个百分点，突显了名义基准性能与分布偏移鲁棒性之间的差距。
推荐理由：LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距，平均下降26.5个百分点，凸显了系统性鲁棒性评估的必要性。
Google Research精选AI 评分7070 AI辅助会增强还是削弱专业能力？来自专利起草三个月实地实验的证据
Google Research发表了一项为期三个月的实地实验，研究AI辅助对专利律师专业能力的影响。实验发现AI工具短期内显著提高了律师起草专利的质量，但移除AI后，初级律师的专业判断能力并未提升，而高级律师则表现出明显的进步。研究强调，提高工作质量和构建持久专业判断可能是不同的目标，尤其对初级专业人士而言。
推荐理由：研究揭示了AI对专业能力发展的复杂影响，为AI工具设计提供了重要参考。
钛媒体精选AI 评分8080 三张AI榜单的信用贬值：排名背后的商业逻辑
OpenRouter、Artificial Analysis和ARC-AGI三张榜单存在数据失真问题，OpenRouter的调用量排名受价格战影响，Artificial Analysis的评测标准偏向美国市场，ARC-AGI的评测周期越来越短。这些榜单的权威性正在下降，读者应关注趋势而非名次，并注意版本号和实际成本。
推荐理由：原文揭示了三张AI榜单的失真机制，帮助读者理解排名背后的商业逻辑和数据陷阱。
GitHub Blog · AI & ML精选AI 评分7575 ReviewBench: AI 代码评测开放基准
GitHub 发布 ReviewBench，一个基于 103.9M 真实 PR 构建的代码评测基准，包含 219 个跨 19 语言的 PR，提供六项评测指标，支持按严重程度和类别分类，并已用于 Copilot 代码评测迭代。
推荐理由：ReviewBench 基于真实 GitHub PR 构建了首个开放代码评测基准，解决了评测方法学空白。
Hugging Face Blog精选AI 评分8585 Microsoft发布ThinkingBox智能体评估工具
Microsoft与Hugging Face合作发布ThinkingBox，通过检查数据库状态而非生成文本来评估AI智能体可靠性，每个任务重复运行20次。该工具已在Hugging Face开放，包含507个业务工作流程基准测试。
推荐理由：原文提供了AI智能体评估新方法，通过重复测试和数据库状态检查衡量可靠性。
Hugging Face Blog精选AI 评分6565 Hugging Face发布Open TTS排行榜
Hugging Face推出Open TTS排行榜，使用客观指标评估开源多语言文本转语音模型，包括可懂度、速度和说话人相似度，并提供多语言和语音克隆功能评测。
推荐理由：原文提供了开源多语言TTS模型的客观评测方法和排行榜，解决了现有评测无法规模化的问题。
已经到底了