扩散语言模型中学习解掩码策略的对照研究
研究通过对比监督策略发现,扩散语言模型中仅匹配最终输出的标签在低NFE时过于宽松,隐藏状态需与置信度互补才能提升效率。856K参数的策略在LLaDA-8B-Instruct上实现最佳准确率-NFE平衡,GSM8K吞吐量最高,且可迁移至Dream-7B-Instruct。约10%的NFE减少即可抵消策略开销。
研究通过对比监督策略发现,扩散语言模型中仅匹配最终输出的标签在低NFE时过于宽松,隐藏状态需与置信度互补才能提升效率。856K参数的策略在LLaDA-8B-Instruct上实现最佳准确率-NFE平衡,GSM8K吞吐量最高,且可迁移至Dream-7B-Instruct。约10%的NFE减少即可抵消策略开销。
研究发现推理模型中的 wait 标记并非强化学习(RL)原创,而是继承自训练数据。在缺乏该标记的模型基座上,RL 能显著提升 MATH-500 准确率但不会引入 wait;而监督微调会将该标记植入模型。标记频率变化与 RL 诱导的推理能力无直接关联。
SCOPE是一种新方法,将自然语言策略编译为可执行程序,由小型模型、确定性提取器和组合代码组成。该方法在真实世界策略任务基准测试中,实现了跨任务和模型的最平均准确率,且预测更稳定、可解释,并能部署在低成本模型上达到前沿推理模型的准确率水平。
推荐理由:SCOPE将自然语言策略编译为神经符号谓词程序,解决了LLM代理策略执行中的准确性与效率矛盾。
研究发现,在 Uniform Diffusion Language Models(UDLMs)中应用选择性 looping 技术,可显著提升训练效率:仅需 0.5 万亿 token 训练量即可达到原模型 1 万亿 token 的验证 NLL,训练 FLOPs 减少 2.8-3.3 倍;在相同 NFE 预算下,生成困惑度降低最高 9.8%。
ToM2Vec 通过固定预算的连续推理 Token 在潜在空间中学习抽象心智理论,支持多智能体在协作、竞争和混合动机环境中的交互。实验显示其在 Overcooked-AI 等环境中优于基线和竞争模型,且能泛化至未训练的 GPT-5.4 等模型。
LoopRec 通过引入轻量级门控机制实现项目级自适应递归,为高频项和已收敛项分配浅层计算,为低频项和近期交互分配深层计算。该方法在四个骨干模型家族的公开基准测试中,持续优于固定深度方案,且无需额外深度标签。
研究人员提出DeepEvolve系统,一种基于未来事件预测的可持续进化智能体系统,该系统通过与动态变化环境持续交互并内化经验实现自我改进。在FutureX排行榜上,该自我改进预测器连续三周排名第一,评分提升高达195%;在合成的评估中,它在四个基础大语言模型中排名前三,比最强基线高出最多10.7 Bradley-Terry分。
推荐理由:通过未来事件预测构建可持续进化系统,在真实世界评估中连续三周排名第一,展示AI从静态模型向自我进化智能体的转变。
SpatialBrain 框架通过保留空间推理决策经验,在五个基准测试中优于或持平同骨干模型的直接答案。该框架包含 3DFusionMemory 融合场景观测、Spatial Skill Library 提供可复用工具程序,以及 Spatial Cognition 关联任务条件与经验使用策略。
研究人员提出 TraceForge 方法,通过生成与目标模型风格一致的推理轨迹来解决前沿模型不提供详细推理过程的问题。该方法采用两阶段训练,在 HumanEval+ 上提升 3.7 分,在 MBPP+ 上提升 7.1 分。
推荐理由:通过生成与目标模型风格一致的推理轨迹,TraceForge 在保持数据来源合规的同时提升了模型性能。
VX-One 是一种小型多头网络(10万-1000万参数),输出校准门、封闭候选集选择和序数评分,在 UNSW-NB15 和 CIC-IDS2017 上检测性能优于校准 XGBoost,但多类归因落后。两阶段级联方案(Suricata + VX-One)对未知攻击召回率达97.8%,但校准性能随时间漂移下降。
研究人员提出Self-Credit方法,通过组内重缩放机制为长时程智能体强化学习分配信用。该方法在BrowseComp-Plus上比基线模型提升37.0和36.2分,在GAIA和xBench-DeepSearch上也分别超越最强基线4.9和4.7分。
研究提出通用视觉语言模型可通过系统一决策实现多模态重排序,零样本Qwen3.8-27B在MMEB-V2图像检索中超越监督模型Qwen3-VL-Reranker-2B,匹配Reranker-8B性能且延迟更低。
Specter 系统结合量化与推测解码,在单 GPU 上实现 MoE 模型专家卸载,平均输出令牌时间(TPOT)提速 1.50 倍(最高 1.88 倍)。该方案通过轻量量化草稿模型预测专家使用模式,优化通信与执行效率,使内存受限的 MoE 推理在消费级硬件上更可行。代码已开源。
RiseHarness 框架通过迭代优化代理 harness 提升长时程任务可靠性,结合成功与失败运行轨迹分析模型行为,并整合跨框架机制改进执行稳定性。该框架在多模型测试中验证了任务成功率与可靠性提升,且可迁移至未见基准测试。
EvaOmni 包含 392 个视频和 1,027 个人工标注的问答对,覆盖 15 项能力,要求模型同时返回答案和证据区间。Gemini3.7-Flash 在 7 个开源和 17 个闭源 Omni LLM 中表现最佳,整体准确率 79.4%,但证据定位能力仍有提升空间。
DecisionPivot 包含 48 项任务和 40,033 个样本,覆盖七种决策角色,通过对比组准确率、概率排序和校准等指标评估 40 个决策模型和 14 个通用模型。
Qwen2.5-0.5B 模型通过 Progress-Aligned Recurrence (PAR) 方法,在 swap-S5 任务上将训练长度从 32 moves 扩展到 512 moves,达到 95.5% 平均全状态准确率,比 RLT 方法高 39.8 个百分点。
研究人员提出S-Agent 2.0,一种通过命令行感知工具增强通用编码代理空间推理能力的方法。该方法在MMSI-Bench和ReVSI评测中显著提升了Qwen3.8-27B和Gemini-3.8-Flash的性能,分别达到66.5和82.3分,以及74.1和90.5分,超过了专用系统SpatialClaw的性能。
研究团队提出AdaExploreBench基准,测试LLM智能体在动态环境中主动探索和适应的能力。实验显示,即使是最先进的GPT-6 Sol模型也仅达到61.9%的校准准确率,而提供足够证据或移除规则漂移可提高近10%的性能。
研究团队构建多学科 AI 研究员,通过自适应分配实验预算,在 1.3B 规模下超越 GDN2,语言建模与推理任务表现更优。移除任一组织组件均导致发现能力显著下降。
研究人员提出分层稀疏注意力(SSA)框架,结合确定性检索和分数引导采样,在保持高稀疏度的同时显著提升长上下文推理性能。在RULER-HARD测试中,Ministral-3-8B模型在32K和128K上下文长度下,50倍稀疏度下准确率分别从81.8%提升至84.2%和从63.8%提升至69.3%,恢复密集注意力性能的94%和85%。优化后的CUDA内核实现1M上下文下近3倍解码加速。
推荐理由:分层稀疏注意力在极端稀疏度下接近密集注意力性能,同时实现近3倍解码加速,为长上下文推理提供新思路。
扩散语言模型智能体通过连续状态传递隐藏消息,接收方利用消息内容影响任务表现。在 Tiny-A2D 和 Dream-7B 任务中,移除消息导致性能下降 63.6 和 100.0 点,错误消息使 QASC 准确率从 80.8% 降至 46.8%。单次晚时间传输达 87.8%,优于四次交换。
研究提出 Bridged Self-Distillation (BSD),通过外部教师生成推理轨迹,学生模型在无上下文时生成输出,并由自身副本进行评分,实现对不同教师场景的统一蒸馏。BSD 在共享词表、跨词表和闭源 API 教师场景中均优于基线模型,提供了一种新颖的蒸馏路径。代码已开源。
研究发现扩散语言模型生成相同长度输出的计算成本差异显著,任务类型和语言特性是关键影响因素。DiffusionGemma 在故事写作中每个 token 的前向传递次数是语法纠错的 3 倍以上,多语言生成中高 token 化语言成本更高。错误答案的推理成本高于正确答案,按解码速度加权候选答案可提升准确率 4.2 分。
研究发现语言模型在组合任务中错误率显著高于单任务,即使上下文窗口充足仍因隐式预算减少每任务 token 使用量。Claude Opus 5 和开源模型均显示,需长推理链的任务在组合时更脆弱,但按脆弱性分组可降低 43% token 消耗且保持准确率。
研究显示,当LLM智能体通过检索而非上下文读取PHREEQC地质化学模拟器的报告时,GPT-5.1和GPT-5.2的准确性分别下降11.3和7.9个百分点,而Claude Opus 4.6和Claude Sonnet 4.6未受影响。GPT模型在检索时经常跳过报告,从自己的高精度输出文件中回答并错误舍入到相邻选项,这种证据替代错误是准确率下降的主要原因。
推荐理由:当LLM智能体通过检索而非上下文读取工具输出时,GPT模型出现明显的证据替代错误,而Claude模型不受影响,揭示了不同模型在证据处理上的关键差异。
Heartbeat Thinking 通过周期性调用处理语音更新,允许正在进行的推理和工具调用完成,在 SpeechFCEval、FDBench v3 和 AudioCRAG 基准测试中提升工具覆盖率,FDBench v3 上工具覆盖率提高 16 个百分点,最终响应延迟降低 36.4%。
DRLMs 使用单一去噪器并行生成和评估草稿,在 Countdown-5 达 44.4%、Sudoku-Extreme 达 93.9%,性能超越自回归和离散扩散基线模型。该方法通过单次前向传播计算空腔能量,无需额外评分模型即可完成复杂推理。
ATEST 通过联合评估额外样本的预期值和当前 GPU 成本,实现动态推理时扩展。在 Phi-3-mini 和 Qwen2.5-3B 测试中,ATEST-Online 在高负载下将 GSM8K 准确率提升至 60.0%,且无任务延迟,同时比 ATEST-Calibrated 节省 42 倍 GPU 时间和 48 倍能耗。
研究人员提出Épi,一个能够跨模型会话持续研究并通过积累经验改进方法的自主研究智能体。Épi结合持久研究历史、分层记忆、分支和独立审查机制,维持研究连续性并从实验中学习。
推荐理由:Épi智能体通过跨会话持续研究创造了120项记录,展示了AI自主研究能力的新高度。
研究提出 TCoVP 方法,通过时空链式视频原语解决视频推理分割中的视觉参考缺口,在五个 VRS 基准测试中验证性能,模型与代码将开源。
SparseMax-dSTL 通过稀疏梯度投影构建时序逻辑轨迹优化,确保梯度权重始终为正且独立于时间跨度。在平面独轮车和七关节机械臂仿真中,其梯度权重在违规样本上保持1,而传统方法随时间衰减至0.04。该方法约束返回的轨迹满足规范要求,优于现有近似方法。
DiscoveryRSI-27B 通过多智能体进化搜索构建假设树,在四个生命科学领域将假设质量从 4.86 提升至 5.39,与已发表论文的假设对应率达 6.3%,超越 GPT-6 Luna 和 Claude Opus 5。
CarryOn 通过面向对象的上下文运行时,将长时程智能体的上下文组织为可重用的任务对象,在 OSWorld 2.0 和 BrowseComp-Plus 上分别提升任务成功率 5.8% 和 7.0%,同时减少 token 使用量 51.9% 和 22.9%。
微软研究团队推出MindTopo基准测试,评估多模态大语言模型在拓扑推理方面的能力。研究发现当前模型在静态识别任务上表现优于交互式规划任务,表明它们难以在动态环境中保持对拓扑关系的一致理解。MindTopo包含连续性、分离、顺序、包围和结点五个类别的推理和规划任务,为改进机器人和交互环境中的AI系统提供了重要诊断工具。
推荐理由:MindTopo揭示了多模态模型在拓扑推理方面的显著差距,为改进AI空间理解能力提供了新方向。
加州大学伯克利分校研究团队提出ABBEL框架,通过自然语言信念状态替代完整交互历史,解决了长程任务中上下文压缩导致的性能下降问题。在CollabBench协作编码环境中,使用信念分级(ABBEL-rec-BG)将性能差距缩小约50%,同时训练步数减少50%。
推荐理由:原文提出了ABBEL框架,通过信念状态管理解决长上下文交互中的性能问题。
Berkeley AI Research 实验室 2026 届博士毕业生在人工智能领域取得突破,研究方向涵盖机器人、大语言模型、计算机视觉等。毕业生将进入高校、工业实验室及初创公司,部分加入 OpenAI、Amazon 等企业。
伯克利AI研究团队提出GRASP方法,通过提升轨迹到虚拟状态、添加状态噪声和重塑梯度来解决长时程世界模型规划的脆弱性问题。该方法在长时程任务中取得了更高的成功率和更快的收敛速度。
推荐理由:原文提出了GRASP方法解决长时程规划中的梯度问题,读者可了解如何优化世界模型规划。