视觉-语言-动作模型的机制性研究:特征并非平等创建
研究人员开发了解释性管道研究视觉-语言-动作(VLA)模型的计算机制,发现模型编码的任务指令与绝对工作空间坐标绑定,导致对物体位置微小变化敏感。研究团队发布了Action Atlas平台,包含520+训练好的SAEs、79个识别概念和评分的UR10e回放数据。
推荐理由:通过激活注入揭示视觉-语言-动作模型对绝对坐标的依赖,解释了为何物体位置微小变化就导致任务失败。
研究人员开发了解释性管道研究视觉-语言-动作(VLA)模型的计算机制,发现模型编码的任务指令与绝对工作空间坐标绑定,导致对物体位置微小变化敏感。研究团队发布了Action Atlas平台,包含520+训练好的SAEs、79个识别概念和评分的UR10e回放数据。
推荐理由:通过激活注入揭示视觉-语言-动作模型对绝对坐标的依赖,解释了为何物体位置微小变化就导致任务失败。
研究人员提出分层稀疏注意力(SSA)框架,结合确定性检索和分数引导采样,在保持高稀疏度的同时显著提升长上下文推理性能。在RULER-HARD测试中,Ministral-3-8B模型在32K和128K上下文长度下,50倍稀疏度下准确率分别从81.8%提升至84.2%和从63.8%提升至69.3%,恢复密集注意力性能的94%和85%。优化后的CUDA内核实现1M上下文下近3倍解码加速。
推荐理由:分层稀疏注意力在极端稀疏度下接近密集注意力性能,同时实现近3倍解码加速,为长上下文推理提供新思路。
研究提出跨层共享的 Meta Expert 替代传统分层 Local Expert,在激活数量和专家粒度固定时,仅用 70-80% 专家即可匹配普通 MoE 性能,同时降低参数冗余和交叉熵损失,提升下游任务准确率。
研究追踪七个开源框架的提交历史,发现1598篇提出通用RL训练方法的论文中仅37篇被至少一个框架纳入。被纳入论文更常训练30B参数以上策略(41% vs 10%),且更常修改现有损失函数中的系数、裁剪或权重(29% vs 9%)。框架公开讨论显示多数未被纳入的方法缺乏相关讨论,用户很少公开报告训练失败。
研究人员提出WorldStream,一种开放式的3D世界模型,具有三个同时实现的能力:扩展可玩地形超越任何预定义地图、在运行世界中响应开放式语言指令、恢复访问地点及其编辑状态。
推荐理由:通过分层规划和持久状态实现无限扩展的3D世界,突破预定义地图限制,为开放世界交互提供新思路。
扩散语言模型智能体通过连续状态传递隐藏消息,接收方利用消息内容影响任务表现。在 Tiny-A2D 和 Dream-7B 任务中,移除消息导致性能下降 63.6 和 100.0 点,错误消息使 QASC 准确率从 80.8% 降至 46.8%。单次晚时间传输达 87.8%,优于四次交换。
研究通过持续预训练(CPT)探索数据量、多样性和模型规模对具身智能体在虚拟世界中的性能影响,覆盖0.8B至27B参数模型、50至1600小时数据及多世界混合训练。结果显示数据量提升同领域性能,多样性增强相关世界迁移能力,模型规模提高数据效率但远距离泛化受限;模型在3D世界中与专业模型竞争,实时表现最佳。
RLSplat 提出资源线性预算控制的前馈 3D Gaussian Splatting 框架,其表示大小、推理延迟和峰值内存随高斯预算减少线性下降。零样本评估显示,RLSplat 在各预算下均优于现有方法,低预算时运行速度提升 4.1 倍,峰值内存减少 9.6 倍,且仅需 1/4 高斯数量即可超越最强基线。
研究团队提出AgenticRoboRL框架,通过监督微调和多轮强化学习对机器人规划器进行后训练,在LIBERO-PRO上将9B参数规划器的成功率从18.1%提升至71.0%,接近Codex(GPT-5.5)水平。该框架通过特定适配器连接记录的规划器交互与任务结果,支持不同执行机制。研究团队将发布框架和训练好的规划器检查点。
推荐理由:通过后训练将9B参数机器人规划器成功率从18.1%提升至71.0%,接近Codex(GPT-5.5)水平,证明后训练对机器人规划器有效。
RoboCasa-Shift 基于 RoboCasa365 构建鲁棒性评测基准,通过单因素扰动和阶段感知诊断分析 GR00T N1.5 在四项长时程任务中的表现。评测涵盖四种扰动因素和三级严重程度,共 1,040 次正式测试,发现鲁棒性随任务和因素变化显著,且退化模式存在非单调性。代码已开源。
Qwen-Audio-3.1-ASR 是基于 Qwen-Audio-3.0-ASR 的音频语言模型家族,支持 30 种语言和 16 种中文方言,新增说话人分段转录和通用音频理解能力。该模型提供异步文件转录、低延迟流式传输等部署变体,并在传统 ASR、多语言及方言语音等任务中通过评测验证性能。
Policy-Mask 通过联合优化时间步、网络块和通道选择,在 ADE20K 上实现 38.9 mIoU,CIFAR-100 达 75.4% top-1 准确率。该方法在 256 通道时取得最佳性能,适用于扩散模型和扩散 transformers。
研究团队提出DiffResearch框架,将扩散语言模型(dLLM)应用于深度研究各阶段,相比自回归模型实现约6倍端到端速度提升。dFast模式通过读取去噪中间状态提取子查询,实现1.99倍中位数加速且不降低报告质量。该框架已开源并采用Apache-2.0许可证。
推荐理由:扩散模型在深度研究中实现6倍速度提升,dFast模式进一步加速分解过程,为交互式研究系统提供新路径。
StyleStream 2.0 将端到端延迟降至 520ms,较前代提升 2 倍速度,同时保持转换质量。该模型通过紧凑的风格嵌入和文本条件流匹配模型,支持基于文本的语音设计和指令式语音编辑。实验显示其在目标风格保真度上达到最优,同时保持可懂度和未编辑属性保真度竞争力。
Physical AI 结合数据与世界模型实现机器人自主决策,支持具身智能任务。该技术依赖物理交互数据训练,构建环境认知能力,推动机器人从预设程序向自适应行为演进。
Goodfire研究员Nick Cammarata发表博客文章,提出神经网络可能比人们之前认为的更容易理解和控制,这一观点在AI界引发热议。他通过重新分析Inception v1模型,发现神经元存储的看似无关概念(如汽车和猫)实际上存在共同模式(如V形结构)。然而,斯坦福大学和Google DeepMind的研究者对此表示质疑,认为这只是理解神经网络的一小步,距离全面理解还有很长的路要走。
2026年10月19日,医疗健康世界模型分会场在南京举行,汇聚院士专家和产业代表,围绕疾病状态演变、干预响应推演等关键问题展开交流。分会场发布了医疗世界模型高质量数据集、一体机、专病模型等六方面创新成果,推动医疗人工智能从回答问题走向推演病程变化。
MIT 研究人员将 Claude Opus 4.7 的副本 Eko 置于虚拟荒岛 30 小时,AI 智能体自发探索、创造游戏和绘制星座,表现出类似人类和动物的四种游戏特征。实验表明这种'游戏式学习'可能成为 AI 训练的第三种范式,且有助于提升后续任务表现。
研究提出 Bridged Self-Distillation (BSD),通过外部教师生成推理轨迹,学生模型在无上下文时生成输出,并由自身副本进行评分,实现对不同教师场景的统一蒸馏。BSD 在共享词表、跨词表和闭源 API 教师场景中均优于基线模型,提供了一种新颖的蒸馏路径。代码已开源。
孙立宁探讨具身智能从拧瓶盖到做饭的能力演进,分析其理解环境的差距。
研究发现扩散语言模型生成相同长度输出的计算成本差异显著,任务类型和语言特性是关键影响因素。DiffusionGemma 在故事写作中每个 token 的前向传递次数是语法纠错的 3 倍以上,多语言生成中高 token 化语言成本更高。错误答案的推理成本高于正确答案,按解码速度加权候选答案可提升准确率 4.2 分。
VideoMaMa++ 提出基于扩散模型的视频抠图框架,通过保留和精炼 token 实现跨块边界的时间一致性,在长视频中优于现有方法。该框架采用双流 token 交互和滑动窗口推理,在标准基准和真实长片段中均提升细节准确性和时间一致性。
研究团队提出MMedAgent-Plus,一种结合视觉语言规划器与18个领先专家模型的多模态医疗工具使用智能体,覆盖12个任务和8种模态。该智能体在单工具多轮、多工具多轮和多工具单轮设置中分别达到91.0%、98.1%和80.7%的工具调用准确率,最终答案准确率达0.98,匹配专用领先专家模型并超越最强基线(0.28)。
RouteWeaver是一种统一的路由框架,整合了单轮、多轮和智能体路由模式,通过COMET-GRPO算法和渐进式探索实现自适应路由。在数学、编码、知识、逻辑推理和事实回忆五个领域,RouteWeaver平均准确率达到61.4%,比最强基线模型提升11.03%。
TEAL 通过 Explorer 和 Critic 两个 Agent 无监督进化工具库,在 KramaBench 和 LakeQA 上提升 Sonnet-5 性能,15 步预算下分别提高 9.3 和 21.7 分。合成问题 TEAL-Q 效果接近真实问题,20 步进化工具在 30 步部署中得 68.3 分,优于基线 59.6 分。
研究发现语言模型在组合任务中错误率显著高于单任务,即使上下文窗口充足仍因隐式预算减少每任务 token 使用量。Claude Opus 5 和开源模型均显示,需长推理链的任务在组合时更脆弱,但按脆弱性分组可降低 43% token 消耗且保持准确率。
研究团队提出Ropedia W0,首个涵盖人类和多样化机器人的第一人称运动-操作世界基础模型。团队整理了包含1万小时人类数据和3千小时机器人数据的Xp-Data集,采用统一的运动学表征编码运动和操作。该模型在五个跨具身基准测试上达到最先进性能,支持实时长时间推理,并在具身决策应用中展示实用性。
推荐理由:通过统一运动与操作表征,首次实现跨具身智能体的世界模型,为具身决策提供新基础。
VerifierBench 包含 222 项任务和 4,993 个隐藏测试案例,覆盖工具调用、状态和代码验证场景。19 个模型的标准化平衡准确率在 10.6 至 62.1 之间,验证器对无效解决方案的拒绝可靠性高于对有效解决方案的接受。项目页面和数据集已公开。
OpenDS-World 基准包含 200 项多模态任务,评测 12 个前沿模型在真实网络环境中的深度搜索能力,最佳模型准确率达 39.0%,人类评估为 21.1%。该基准通过独立人工验证确保证据有效性和答案唯一性,揭示模型在工具协调和长程搜索管理上的持续挑战。
研究显示,当LLM智能体通过检索而非上下文读取PHREEQC地质化学模拟器的报告时,GPT-5.1和GPT-5.2的准确性分别下降11.3和7.9个百分点,而Claude Opus 4.6和Claude Sonnet 4.6未受影响。GPT模型在检索时经常跳过报告,从自己的高精度输出文件中回答并错误舍入到相邻选项,这种证据替代错误是准确率下降的主要原因。
推荐理由:当LLM智能体通过检索而非上下文读取工具输出时,GPT模型出现明显的证据替代错误,而Claude模型不受影响,揭示了不同模型在证据处理上的关键差异。
研究人员开发了ACE-Brain-0.6模型,通过结合机器人操作记录和多样化视觉数据的数据流水线,在约150万样本上微调Qwen3.5-9B。该模型在七个公共空间定位基准中的四个上超越GPT-6 Astra,平均得分为75.41,比Astra的73.68更高。研究显示,通过多样化来源的可验证定位监督可增强开放9B模型的空间感知能力。
推荐理由:通过150万样本训练的9B模型在空间感知基准上超越GPT-6 Astra,验证了多样化数据对具身智能的强化作用。
研究发现 LLM agents 存储抽象知识时会出现错误复现现象,错误通过抽象、执行和再抽象循环传播。提出 Anti-Persistence 内存设计,按需重建任务指导并丢弃,在多个基准测试中实现最高成功率和最低 LLM 调用成本。
SEAM 提出零音频初始化方法,通过频谱滤波和岭回归构建未见词元的嵌入向量,在三种语言和两种 TTS 架构中,仅需四分之一训练数据即可接近或匹配基线性能,降低样本复杂度 75%。
研究人员提出 TokenGate,一种小型即插即用组件,可扩展现有训练模型以实现端到端可学习的 token 剪枝,用于快速且内存高效的预填充。该技术通过 token 门控注意力机制,在多种任务上实现了 1.4-11.3 倍的首个令牌时间加速和 1.5-3.4 倍的峰值内存降低,同时不损失准确性。
推荐理由:TokenGate 通过可学习的 token 剪枝技术,在保持模型精度的同时显著提升长上下文处理速度和内存效率。
Heartbeat Thinking 通过周期性调用处理语音更新,允许正在进行的推理和工具调用完成,在 SpeechFCEval、FDBench v3 和 AudioCRAG 基准测试中提升工具覆盖率,FDBench v3 上工具覆盖率提高 16 个百分点,最终响应延迟降低 36.4%。
GRSE 通过对比同一技能库下的多次执行结果,为智能体-技能对分配信用,在 HotpotQA 和 LoCoMo 上超越 MASkills,多跳问题 F1 分数最高提升 6.7。该方法能正确识别有害技能并恢复纯净库性能,提升检索准确性且技能可跨任务迁移。
SpecKCast 通过频域预测实现扩散模型加速,在 FLUX.1-dev、Qwen-Image 等模型上达到 6 倍速度提升,仅需额外 0.05 GiB 内存。该方法使用 2D 离散余弦变换和卡尔曼滤波跟踪特征系数,仅在预测不确定性超过阈值时重新计算模型输出。
研究人员提出WildAWM,一种可扩展的管道,用于合成训练通用计算机使用智能体的可控环境和任务。该环境支持图形用户界面、模型上下文协议服务和命令行接口,完全由开源模型驱动。团队合成了341个长时程环境-任务对,训练后的Qwen模型在8个分布外基准测试中取得显著提升。代码已公开。
推荐理由:通过合成环境训练计算机使用智能体,解决了真实世界交互的安全与扩展难题,验证了开源模型也能构建高质量训练环境。
研究团队发布PVBench基准,通过46个维度评估视频生成的物理合理性,涵盖几何、动力学、守恒定律等七个领域,包含600个提示词,30%涉及物理智能体。该基准结合专业视觉模型进行可验证的物理测量,并验证了自动指标与人类判断的一致性。
HarnessRL 引入训练时支架,通过任务采样、rollout 指导和评分标准三个接口协同进化策略,解决开放强化学习中奖励失效问题。在 Rubric-Mix-10k 基准上,HarnessRL 在 4B 和 9B 模型规模上超越最强基线 2.8-3.1 分,并将训练步数减半至最佳检查点。代码与数据已开源。