FairStress: 评估LLM决策中人口公平性的新基准
Hugging Face发布FairStress基准，用于评估大语言模型在人口公平性方面的表现。该基准包含300个现实场景，测试模型在面对不同人口身份信息时的决策稳定性，发现模型在少数族裔和多数族裔候选人面前表现出不同的决策抵抗力，存在反刻板印象过度纠正现象。
推荐理由：LLM在决策中存在反刻板印象过度纠正现象，同一论据对少数族裔和多数族裔候选人的影响不对称，现有去偏方法效果有限。
#评测/基准科技财经热点 · 每日精选
自动盯住上百个信源，用模型摘要、打分、精选，把同一件事的多篇报道归到一起，每天早上出一份日报。聚焦机器人、AI 与财经投资。
今日脉搏
具身智能专栏 →286今日入库
5 条进入精选
44/47 信源在线· 3 异常
近 14 天入库走势
近 7 天分类构成
行业 1375财经 1147硬件本体 991AI 产品 740AI 模型 265其他 395
Hugging Face Blog精选AI 评分7575
Google Research精选AI 评分7070 AI辅助会增强还是削弱专业能力？来自专利起草三个月实地实验的证据
Google Research发表了一项为期三个月的实地实验，研究AI辅助对专利律师专业能力的影响。实验发现AI工具短期内显著提高了律师起草专利的质量，但移除AI后，初级律师的专业判断能力并未提升，而高级律师则表现出明显的进步。研究强调，提高工作质量和构建持久专业判断可能是不同的目标，尤其对初级专业人士而言。
推荐理由：研究揭示了AI对专业能力发展的复杂影响，为AI工具设计提供了重要参考。
GitHub Blog · AI & ML精选AI 评分7575 ReviewBench: AI 代码评测开放基准
GitHub 发布 ReviewBench，一个基于 103.9M 真实 PR 构建的代码评测基准，包含 219 个跨 19 语言的 PR，提供六项评测指标，支持按严重程度和类别分类，并已用于 Copilot 代码评测迭代。
推荐理由：ReviewBench 基于真实 GitHub PR 构建了首个开放代码评测基准，解决了评测方法学空白。
Hugging Face Blog精选AI 评分8585 Microsoft发布ThinkingBox智能体评估工具
Microsoft与Hugging Face合作发布ThinkingBox，通过检查数据库状态而非生成文本来评估AI智能体可靠性，每个任务重复运行20次。该工具已在Hugging Face开放，包含507个业务工作流程基准测试。
推荐理由：原文提供了AI智能体评估新方法，通过重复测试和数据库状态检查衡量可靠性。
Hugging Face Blog精选AI 评分6565 Hugging Face发布Open TTS排行榜
Hugging Face推出Open TTS排行榜，使用客观指标评估开源多语言文本转语音模型，包括可懂度、速度和说话人相似度，并提供多语言和语音克隆功能评测。
推荐理由：原文提供了开源多语言TTS模型的客观评测方法和排行榜，解决了现有评测无法规模化的问题。
已经到底了