Hugging Face 开发 LitPivot 助力研究文献动态调整
Hugging Face 与宾夕法尼亚大学合作开发 LitPivot,通过文献分组和批判性建议帮助研究者调整研究思路。17名研究者的实验显示,使用 LitPivot 的提案在文献支撑性上优于基线工具,且参与者认为其想法新颖性和实用性更强。该系统将于 UIST 2026 发布。
Hugging Face 与宾夕法尼亚大学合作开发 LitPivot,通过文献分组和批判性建议帮助研究者调整研究思路。17名研究者的实验显示,使用 LitPivot 的提案在文献支撑性上优于基线工具,且参与者认为其想法新颖性和实用性更强。该系统将于 UIST 2026 发布。
研究人员提出BrickWright框架,使用预训练智能体从文本或图像提示生成物理可行的积木构建。该框架通过BrickLayer工具包提供积木组装API和物理可行性验证,使智能体在512个提示样本上达到100%的物理有效性,同时保持提示遵循性。代码已在项目页面公开。
推荐理由:通过代码工具将AI智能体从虚拟建模引导至物理可行性验证,100%成功率揭示了具身智能的工程化路径。
FilmFlow是一个智能体框架,可将自然语言指令或参考视频转换为动态3D环境中的可执行相机轨迹。该系统由Director智能体和三个专业智能体(Interpreter、Scout、Critic)组成,共同实现空间推理、时间协调和视觉构图。研究团队还推出了CinemaBench基准数据集,包含150个Blender场景和750个文本指导任务。
研究人员提出RIDAR框架,用于检测和干预自主研究代理中的研究完整性违规(RIVs)。RIDAR-post-hoc在RIV-Gold基准上达到85.2%的F1性能,在RIV-Wild数据集中检测到3,964个RIV实例。RIDAR-runtime能将任务完成时剩余的RIV减少36.8%。研究团队将发布代码和数据以促进未来研究。
研究团队发布AgentVQA评测基准,涵盖Web Agents、Robotics、Egocentric Videos、Games和Spatial Planning五个领域,从23个数据集中选取1000个真实场景样本。评测显示22个模型中最高准确率仅58.5%,主要问题在于视觉状态跟踪而非任务理解或逻辑推理。
推荐理由:AgentVQA 填补了智能体视觉理解评测的空白,22个模型最高仅58.5%准确率揭示了当前视觉状态跟踪仍是最大瓶颈。
Raw-RAG 在 LoCoMo、LongMemEval 等七项基准测试中六项排名第一,超越最强智能体记忆系统 0.13-5.53 分。该研究通过朴素 RAG 基线(原始历史检索+重排序)证明,直接保留原始证据比复杂记忆操作更有效。
SCOPE是一种新方法,将自然语言策略编译为可执行程序,由小型模型、确定性提取器和组合代码组成。该方法在真实世界策略任务基准测试中,实现了跨任务和模型的最平均准确率,且预测更稳定、可解释,并能部署在低成本模型上达到前沿推理模型的准确率水平。
推荐理由:SCOPE将自然语言策略编译为神经符号谓词程序,解决了LLM代理策略执行中的准确性与效率矛盾。
研究者提出视频中心深度研究报告生成任务及 OmniDR-Bench 评测基准,包含 50 个中英文任务和 6,414 条评测标准。评测显示最佳系统得分为 63.3 分,当前智能体需提升内容覆盖、跨模态因果分析及引用准确性。代码与数据已开源。
研究团队发布FrontierCS 2基准测试,包含48个开放性任务,评估LLM智能体在计算机科学前沿研发中的贡献能力。最佳表现为Claude Opus 5.5,通过58%的测试任务,涵盖机器学习系统、高性能计算、数据库、安全和机器人等13个领域。
推荐理由:将LLM智能体置于真实研发环境测试,58%通过率揭示了当前AI在计算机科学前沿领域的实际贡献能力边界。
Quant-Arena 基准测试使用真实 A 股市场数据,评估 LLM 完成量化研究全流程的能力,包括构建特征、生成代码和制定策略。GPT-6 Astra 在九个前沿模型中得分最高,但所有模型在 2024 年均未跑赢等权重市场基准。该基准公开接受任何模型或智能体的提交。
研究人员提出DeepEvolve系统,一种基于未来事件预测的可持续进化智能体系统,该系统通过与动态变化环境持续交互并内化经验实现自我改进。在FutureX排行榜上,该自我改进预测器连续三周排名第一,评分提升高达195%;在合成的评估中,它在四个基础大语言模型中排名前三,比最强基线高出最多10.7 Bradley-Terry分。
推荐理由:通过未来事件预测构建可持续进化系统,在真实世界评估中连续三周排名第一,展示AI从静态模型向自我进化智能体的转变。
论文提出Memory-Centric Continual Learning (MCCL)框架,通过三轴分类法组织记忆内容,建立双循环生命周期更新记忆状态,并设计评估协议衡量记忆在干扰下的保留能力、适应变化的能力和任务迁移能力,旨在将智能体记忆从被动检索转变为持续学习。
研究人员提出Self-Credit方法,通过组内重缩放机制为长时程智能体强化学习分配信用。该方法在BrowseComp-Plus上比基线模型提升37.0和36.2分,在GAIA和xBench-DeepSearch上也分别超越最强基线4.9和4.7分。
RiseHarness 框架通过迭代优化代理 harness 提升长时程任务可靠性,结合成功与失败运行轨迹分析模型行为,并整合跨框架机制改进执行稳定性。该框架在多模型测试中验证了任务成功率与可靠性提升,且可迁移至未见基准测试。
DecisionPivot 包含 48 项任务和 40,033 个样本,覆盖七种决策角色,通过对比组准确率、概率排序和校准等指标评估 40 个决策模型和 14 个通用模型。
研究者推出 MMEnterprise-Bench 基准,包含 1,613 个基于多模态演化记录的问题,涵盖证据推理、冲突解决和不可回答性三类。评测 10 个多模态大语言模型发现,即使最强模型在处理跨源或时间冲突证据时表现不佳,且增加检索预算未显著提升答案准确性。代码和数据已开源。
研究人员通过实验发现,现代LLM智能体能够从可访问文档中检索信息并披露敏感结论,造成马赛克效应风险。在模拟测试中,即使添加分类标签和聚合规则,GPT-5.6-Sol等模型仍以32.37%的泄露率披露禁止信息,且拒绝回答反而可能暴露禁止结论。研究使用了30个合成案例和两个开源测试平台,共测试了10,800个模拟答案和1,440个实时答案。
推荐理由:即使添加分类标签和聚合规则,AI智能体仍会以32.37%的泄露率通过马赛克效应暴露敏感信息,拒绝回答反而可能暴露禁止结论。
MemT-1.0是一种新型记忆基础模型架构,将记忆内化为模型计算的一部分。该模型采用Gated DeltaNet-2和Mixture-of-Storage技术,在128K上下文长度下实现1.86倍端到端推理加速和66倍持久存储减少,同时保持与检索增强方法相竞争的性能。研究团队发布了MemT-1.0-Nano和MemT-1.0-Flash模型,并通过34B tokens训练数据进行了全面评估。
推荐理由:将记忆内化为模型计算能力,MemT-1.0 在128K上下文下实现1.86倍推理加速和66倍存储减少。
研究团队提出AdaExploreBench基准,测试LLM智能体在动态环境中主动探索和适应的能力。实验显示,即使是最先进的GPT-6 Sol模型也仅达到61.9%的校准准确率,而提供足够证据或移除规则漂移可提高近10%的性能。
Manga2Animate 通过多智能体框架将漫画转化为忠实于原作的动画,生成动画脚本和分镜并双重审核,实验和用户研究显示其比现有方法更忠实且一致。
研究者提出OpenVLHarness框架,结合能力层和持久多模态记忆,在22个基准测试上提升9.7-12.6分,相比无工具基线显著提高性能,同时降低模型token成本最多37%。
推荐理由:通过工具使用和持久多模态记忆提升视觉推理,9.7-12.6分的提升证明外部知识整合的价值。
TokenWorth 在 LifelongAgentBench 环境中实现最高任务成功率,同时使用最少的输出 tokens。该框架通过稀疏执行反馈学习查询相关的记忆价值,应用于记忆检索和有限内存管理。代码已开源,适用于本地和 API 部署。
HarnessPro 是一种无需标签的方法,通过递归自改进优化智能体(harness)性能并降低执行成本。该方法使用LLM生成的测试评估候选harness,提供三种不同性能-成本优先级的版本。实验显示,在多个基准测试中,HarnessPro的重型模式相比RHO方法平均通过率提升2.0个百分点,同时每任务成本降低26.1%。
推荐理由:通过递归自改进和帕累托优化,HarnessPro 在提升任务性能的同时降低执行成本,为智能体开发提供了新思路。
研究团队提出Agent4Sci测试平台,评估前沿智能体在20个科学ML基准上的表现。Claude Opus平均提升10.4%,但进步主要来自ML工程技巧而非研究洞察。通过添加轻量级插件技能,Claude Opus性能提升至20.1%,表明智能体在科学领域仍有巨大改进空间。代码和数据已在GitHub和Hugging Face开源。
推荐理由:Agent4Sci测试显示前沿智能体在科学ML基准上平均提升10.4%,但进步主要来自工程技巧而非研究洞察,揭示当前智能体在科学发现中的真实能力边界。
研究团队构建多学科 AI 研究员,通过自适应分配实验预算,在 1.3B 规模下超越 GDN2,语言建模与推理任务表现更优。移除任一组织组件均导致发现能力显著下降。
扩散语言模型智能体通过连续状态传递隐藏消息,接收方利用消息内容影响任务表现。在 Tiny-A2D 和 Dream-7B 任务中,移除消息导致性能下降 63.6 和 100.0 点,错误消息使 QASC 准确率从 80.8% 降至 46.8%。单次晚时间传输达 87.8%,优于四次交换。
研究团队提出DiffResearch框架,将扩散语言模型(dLLM)应用于深度研究各阶段,相比自回归模型实现约6倍端到端速度提升。dFast模式通过读取去噪中间状态提取子查询,实现1.99倍中位数加速且不降低报告质量。该框架已开源并采用Apache-2.0许可证。
推荐理由:扩散模型在深度研究中实现6倍速度提升,dFast模式进一步加速分解过程,为交互式研究系统提供新路径。
研究团队提出MMedAgent-Plus,一种结合视觉语言规划器与18个领先专家模型的多模态医疗工具使用智能体,覆盖12个任务和8种模态。该智能体在单工具多轮、多工具多轮和多工具单轮设置中分别达到91.0%、98.1%和80.7%的工具调用准确率,最终答案准确率达0.98,匹配专用领先专家模型并超越最强基线(0.28)。
TEAL 通过 Explorer 和 Critic 两个 Agent 无监督进化工具库,在 KramaBench 和 LakeQA 上提升 Sonnet-5 性能,15 步预算下分别提高 9.3 和 21.7 分。合成问题 TEAL-Q 效果接近真实问题,20 步进化工具在 30 步部署中得 68.3 分,优于基线 59.6 分。
VerifierBench 包含 222 项任务和 4,993 个隐藏测试案例,覆盖工具调用、状态和代码验证场景。19 个模型的标准化平衡准确率在 10.6 至 62.1 之间,验证器对无效解决方案的拒绝可靠性高于对有效解决方案的接受。项目页面和数据集已公开。
OpenDS-World 基准包含 200 项多模态任务,评测 12 个前沿模型在真实网络环境中的深度搜索能力,最佳模型准确率达 39.0%,人类评估为 21.1%。该基准通过独立人工验证确保证据有效性和答案唯一性,揭示模型在工具协调和长程搜索管理上的持续挑战。
研究显示,当LLM智能体通过检索而非上下文读取PHREEQC地质化学模拟器的报告时,GPT-5.1和GPT-5.2的准确性分别下降11.3和7.9个百分点,而Claude Opus 4.6和Claude Sonnet 4.6未受影响。GPT模型在检索时经常跳过报告,从自己的高精度输出文件中回答并错误舍入到相邻选项,这种证据替代错误是准确率下降的主要原因。
推荐理由:当LLM智能体通过检索而非上下文读取工具输出时,GPT模型出现明显的证据替代错误,而Claude模型不受影响,揭示了不同模型在证据处理上的关键差异。
Heartbeat Thinking 通过周期性调用处理语音更新,允许正在进行的推理和工具调用完成,在 SpeechFCEval、FDBench v3 和 AudioCRAG 基准测试中提升工具覆盖率,FDBench v3 上工具覆盖率提高 16 个百分点,最终响应延迟降低 36.4%。
GRSE 通过对比同一技能库下的多次执行结果,为智能体-技能对分配信用,在 HotpotQA 和 LoCoMo 上超越 MASkills,多跳问题 F1 分数最高提升 6.7。该方法能正确识别有害技能并恢复纯净库性能,提升检索准确性且技能可跨任务迁移。
研究者提出 CoworkEnv 框架,用于合成 AI 协作者的训练环境。该框架通过工作流要求构建任务,并生成监督微调(SFT)演示和强化学习(RL)数据。使用该框架训练的 PocketWorker 模型在 Claw-Eval 上的平均分从 46.6 提升至 64.1,多轮任务得分提升 31.9 分。
研究人员提出Épi,一个能够跨模型会话持续研究并通过积累经验改进方法的自主研究智能体。Épi结合持久研究历史、分层记忆、分支和独立审查机制,维持研究连续性并从实验中学习。
推荐理由:Épi智能体通过跨会话持续研究创造了120项记录,展示了AI自主研究能力的新高度。
研究人员通过分析 2,122 个 WildChat-1M 对话,发现 71.1% 含法律内容的对话寻求个性化或实用指导,其中权利与建议类请求最常见,25.3% 的指导对话涉及多个法律主题。团队发布包含人工标注数据集和 ModernBERT 模型评估框架,支持大规模法律指导研究。
研究人员提出StopLoss,一种小型外部监控器,通过学习已完成轨迹及其验证结果来识别失败。该系统在SWE-bench Verified和Pro子集上测试,相比六种通用判断器,每次检查成本低一到两个数量级,同时保留99%的成功运行,在Pro子集上可降低成本高达31%。
推荐理由:通过学习失败轨迹识别,StopLoss让智能体提前终止无效任务,成本降低一个数量级。
TreeOPSD 框架通过树感知后验自蒸馏解决长时序强化学习的信用分配稀疏性和策略漂移问题,在 Deep Research 等基准上显著提升 Qwen3-30B-A3B-Thinking-2507 的平均准确率 4.97 点。该框架无需价值网络或外部教师模型,通过递归回溯终端奖励生成隐式层级信用,并映射为有界教师分布以约束策略更新。
DiscoveryRSI-27B 通过多智能体进化搜索构建假设树,在四个生命科学领域将假设质量从 4.86 提升至 5.39,与已发表论文的假设对应率达 6.3%,超越 GPT-6 Luna 和 Claude Opus 5。