#多模态

BrickWright: 基于智能体的物理可行积木构建框架

研究人员提出BrickWright框架，使用预训练智能体从文本或图像提示生成物理可行的积木构建。该框架通过BrickLayer工具包提供积木组装API和物理可行性验证，使智能体在512个提示样本上达到100%的物理有效性，同时保持提示遵循性。代码已在项目页面公开。

FilmFlow: 用于3D虚拟电影摄影的智能体系统

FilmFlow是一个智能体框架，可将自然语言指令或参考视频转换为动态3D环境中的可执行相机轨迹。该系统由Director智能体和三个专业智能体(Interpreter、Scout、Critic)组成，共同实现空间推理、时间协调和视觉构图。研究团队还推出了CinemaBench基准数据集，包含150个Blender场景和750个文本指导任务。

Cola2: 协同自适应分层语言建模框架

Cola2 通过动态文本分段和语义压缩，结合重建与生成监督，实现连续-离散协同自适应。该模型在 3460 亿源 tokens 训练下，8 项任务平均分达 60.10，超越 Llama-3-8B 在 HellaSwag 和 StoryCloze 的表现。

Verus-Insight: 实现AI生成视频中可解释的人工痕迹检测

Verus-Insight 通过结构化三阶段能力（检查规划、证据验证、证据聚合）提升AI视频人工痕迹检测性能，配合人类监督训练和Verus-Bench评测基准，在细粒度分析和视频级检测中实现显著提升。

AgentVQA: 智能体视觉理解统一评测基准

研究团队发布AgentVQA评测基准，涵盖Web Agents、Robotics、Egocentric Videos、Games和Spatial Planning五个领域，从23个数据集中选取1000个真实场景样本。评测显示22个模型中最高准确率仅58.5%，主要问题在于视觉状态跟踪而非任务理解或逻辑推理。

TTR-Compressor：基于测试时回归的序列压缩方法

TTR-Compressor 通过测试时回归实现序列压缩，在块级稀疏注意力中显著提升 RULER 性能，在多模态模型视觉 token 合并中减少 55.6% token 量且匹配标准 MLP 合并效果。该方法为高效语言和多模态模型提供新压缩方案。

视频：通过阅读、写作、共享与交互理解世界

这篇综述以世界建模为统一框架，分析视频基础模型与视频世界模型的关系，提出四种互补操作：从视频中推断世界属性、根据世界条件合成视频、通过共享建模机制整合理解与生成、在动作与观测下预测和更新世界状态。研究强调从片段级识别向持久状态、可控演化及物理因果有效性的转变，并指出当前面临的开放挑战。

OmniDR-Bench：视频中心深度研究智能体评测基准

研究者提出视频中心深度研究报告生成任务及 OmniDR-Bench 评测基准，包含 50 个中英文任务和 6,414 条评测标准。评测显示最佳系统得分为 63.3 分，当前智能体需提升内容覆盖、跨模态因果分析及引用准确性。代码与数据已开源。

Factor-Aware Predictive Learning for Cinematic Video Generation

研究提出 Factor-Aware Predictive Learning (FAPL)，提升多模态大语言模型在电影视频生成中的特征利用与时间推理能力。该方法通过三阶段训练，在稀疏输入转视频、因子感知编辑和多镜头生成任务上超越基线模型。实验验证了 FAPL 对 MLLM 特征使用、时间控制和因子协调的改进效果。

刚性载荷协同轨道运输的去中心化双层优化框架

研究提出一种去中心化双层优化框架，通过内层凸推力分配和外层载荷扭矩轨迹搜索，解决航天器集群运输非合作目标的非凸轨迹优化问题。该方法无需完整非线性规划收敛即可快速获得燃料高效解，性能随代理数量可扩展，并通过蒙特卡洛仿真验证了理论收敛及故障恢复能力。

Quant-Arena: 评测大语言模型在量化交易研究中的端到端能力

Quant-Arena 基准测试使用真实 A 股市场数据，评估 LLM 完成量化研究全流程的能力，包括构建特征、生成代码和制定策略。GPT-6 Astra 在九个前沿模型中得分最高，但所有模型在 2024 年均未跑赢等权重市场基准。该基准公开接受任何模型或智能体的提交。

RealMe：从稀疏低分辨率输入生成沉浸式体积视频

RealMe 通过高分辨率视频扩散模型将稀疏低分辨率输入转化为 2K 分辨率、4D 一致的体积视频。该模型采用因子化时空注意力机制和多视图布局感知嵌入，在 DNA-Rendering 基准和自建 RealVV 数据集上实现视觉保真度和 4D 一致性超越 SOTA 方法。

CulturalRiddles: 多文化谜语评测基准

CulturalRiddles 是一个包含 62 种文化原创谜语的评测基准，涵盖 45 个国家和 51 种语言，通过人类协作创建。研究测试了 28 个大语言模型配置，发现最先进模型在某些文化中的准确率最高仅 22%。该基准数据集已公开，并开放贡献以扩展语言和文化覆盖范围。

SpatialBrain: 空间智能从经验中成长

SpatialBrain 框架通过保留空间推理决策经验，在五个基准测试中优于或持平同骨干模型的直接答案。该框架包含 3DFusionMemory 融合场景观测、Spatial Skill Library 提供可复用工具程序，以及 Spatial Cognition 关联任务条件与经验使用策略。

ALLOT：基于输出测试的视频扩散模型块稀疏注意力训练-free分配方法

ALLOT 通过单元探测和轨迹校准优化视频扩散模型的块稀疏注意力分配，在相同或更短 wall-clock 时间下，于 HunyuanVideo 上实现 11.8 dB PSNR 提升，并在九种设置中优于或持平默认策略。

王友清教授团队论文被ACM MM 2026录用

王友清教授团队提出GLCMoE框架，通过局部混合专家、全局混合专家和双重对比学习模块解决深度多视图聚类中的跨视图异质性和语义对齐问题。该研究设计门控路由均衡正则项缓解专家坍塌，实现判别性跨视图表征融合。论文被ACM MM 2026录用，标志着团队在计算机多媒体领域取得突破性进展。

HRoPE: Homography Relative Positional Encoding

HRoPE 通过将图像块表示为倾斜 3D 平面，将平面诱导的单应性注入注意力机制，为多视图 transformer 提供几何先验以校正透视失真。在 RealEstate10K、CO3Dv2 和 DL3DV 数据集上，HRoPE 在新视图合成任务中优于现有几何位置编码。该方法无需真实几何数据，平面参数可通过视图合成目标端到端预测或基础模型推导。

Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频

研究人员提出了一种新模型，能够直接协同生成任意骨骼结构的3D运动和视频，同时定位关节位置并恢复相机姿态。该模型通过分离运动模型与视频模型，使用交叉注意力层连接，支持从文本生成多样化骨骼动画，并能将视频转换为骨骼运动，实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对，评估显示该方法比视频优先管道更忠实于原始动作。

多模态重排序是系统一决策

研究提出通用视觉语言模型可通过系统一决策实现多模态重排序，零样本Qwen3.8-27B在MMEB-V2图像检索中超越监督模型Qwen3-VL-Reranker-2B，匹配Reranker-8B性能且延迟更低。

EvaOmni: 面向视听推理的证据基准测试

EvaOmni 包含 392 个视频和 1,027 个人工标注的问答对，覆盖 15 项能力，要求模型同时返回答案和证据区间。Gemini3.7-Flash 在 7 个开源和 17 个闭源 Omni LLM 中表现最佳，整体准确率 79.4%，但证据定位能力仍有提升空间。

S-Agent 2.0：通用编码代理实现空间推理

研究人员提出S-Agent 2.0，一种通过命令行感知工具增强通用编码代理空间推理能力的方法。该方法在MMSI-Bench和ReVSI评测中显著提升了Qwen3.8-27B和Gemini-3.8-Flash的性能，分别达到66.5和82.3分，以及74.1和90.5分，超过了专用系统SpatialClaw的性能。

Matrix-Game 4.0：利用视频模型实现实时可玩游戏世界

Matrix-Game 4.0通过分离游戏执行与视觉生成，实现了480p分辨率、60FPS的实时游戏体验，在NVIDIA RTX5090上按键到显示延迟为112ms。该系统使用轻量级游戏引擎维护世界状态，多模态编码代理将玩家想法转化为游戏代码，基于自回归视频模型的渲染器将引擎渲染的低多边形代理转换为详细视觉效果。

同一件事，精选收录的是《昆仑万维发布Matrix-Game 4.0视频大模型游戏》

MMEnterprise-Bench: 评测企业级智能体在多模态演化记录中的表现

研究者推出 MMEnterprise-Bench 基准，包含 1,613 个基于多模态演化记录的问题，涵盖证据推理、冲突解决和不可回答性三类。评测 10 个多模态大语言模型发现，即使最强模型在处理跨源或时间冲突证据时表现不佳，且增加检索预算未显著提升答案准确性。代码和数据已开源。

Agent Mosaic：识别智能体LLM系统中的信息泄露风险

研究人员通过实验发现，现代LLM智能体能够从可访问文档中检索信息并披露敏感结论，造成马赛克效应风险。在模拟测试中，即使添加分类标签和聚合规则，GPT-5.6-Sol等模型仍以32.37%的泄露率披露禁止信息，且拒绝回答反而可能暴露禁止结论。研究使用了30个合成案例和两个开源测试平台，共测试了10,800个模拟答案和1,440个实时答案。

Foundation4D: 面向自动驾驶的统一感知与重建模型

NVIDIA发布Foundation4D，一种统一的前馈模型，可从多摄像头驾驶视频中实现几何估计、3D检测、语义占用和高斯重建。该模型共享骨干网络，使用分解时空注意力高效跨摄像头和时间组合观测，并通过位图优化优化相机轨迹。

3D-Grounded Representation for Scene Generation at Scale

研究提出在3D隐空间中直接生成场景，通过扩散模型实现3D-grounded场景生成，实验证明其在效率和空间一致性上优于2D方法，代码已开源。

Token-Set 选择干扰 POPE：VLM 幻觉评估中 Yes/No 提取的系统审计

研究发现 LLaVA-1.5-7B 在 POPE 基准上的 F1 分数受 token 读取方式影响，使用 8 个 token 查询时 adversarial 分数达 0.8713，比原方法高 6.13 点。该干扰效应跨四个 VLM 和三个分词器家族普遍存在， tokenizer 派生的读取方式能保持 0.80-0.92 的 F1 分数。

混合架构中的竞争学习研究

研究发现混合架构中线性时间递归与softmax注意力存在竞争学习现象，递归层更快学习检索功能导致注意力层失效。通过在训练中途停止递归层更新，可提升注意力层检索能力，该方法在1B参数模型上显著降低语言建模损失并提升常识推理与检索任务表现。

Manga2Animate: 一个基于智能体的漫画动画生成框架

Manga2Animate 通过多智能体框架将漫画转化为忠实于原作的动画，生成动画脚本和分镜并双重审核，实验和用户研究显示其比现有方法更忠实且一致。

Holi-World: 从人类自我经验构建整体世界智能

Holi-World 引入集成生态系统，连接经验捕获、世界表示和自动数据构建，通过 HOLIWORLD-Founday 构建约 100 个场景的世界记录。HOLIWORLD-VL-4B 在 ScanNet、Aria Digital Twin 等数据集上展现静态感知和动态跟踪性能，训练后时空推理能力在 HOLIWORLD-Bench 和 EgoDynamic4D 上显著提升。

BrainLoRA：参数高效微调实现百亿参数多模态模型脑编码适配

BrainLoRA 通过 LoRA 和轻量读出层微调多模态主干模型，在 Algonauts 2025 Challenge 上刷新 Qwen3-Omni 脑编码性能纪录。该方法利用因果结构单次预测多时间点，将 104B 参数模型适配成本降至最低，并支持 200+ 模型集成训练。

InfiniDream: 通过程序化生成实现开放式的逼真 3D 世界

InfiniDream 是一个 VLM 驱动的开放式程序化 3D 世界生成框架，通过符号约束资产生成和端到端文本到世界管道，支持创建新型逼真资产和大规模 3D 场景。在 100 个对象和 20 个场景生成任务中，该框架在四个感知指标上表现更优，并通过多样性分析和人类偏好评估验证有效性。

OpenVLHarness: 基于多模态记忆的真实世界视觉智能体工具使用

研究者提出OpenVLHarness框架，结合能力层和持久多模态记忆，在22个基准测试上提升9.7-12.6分，相比无工具基线显著提高性能，同时降低模型token成本最多37%。

CoopUQ: 通过不确定性感知协同预测实现多机器人鲁棒社交导航

研究提出 CoopUQ 框架，通过跨机器人时空特征融合预测未来占用网格地图，并利用预测结果及不确定性引导多机器人强化学习决策，在遮挡和分布外场景下提升安全性和鲁棒性。实验显示该框架在 Unity3D 模拟环境和真实机器人测试中均优于基准方法。代码和视频已公开。

EgoXperience: 从人类经验学习基于世界中心的第一人称表示

研究人员提出EgoXperience，一个全栈范式，通过数据收集、自动标注、统一建模和基准测试解决第一人称视频中人类活动重建的一致性问题。该研究包含EgoX-Engine自动标注引擎、EgoX-Data-6M数据集和EgoX模型，在单目第一人称视频输入下实现了相机、场景、手部和物体的联合度量重建，实验显示在场景估计和世界空间手-物体姿态恢复方面达到SOTA性能。

Answering in the User's Variety: Calibrated Accommodation Pairs for Post-Training

研究发现，主流模型在微调和偏好优化后仍倾向于标准化回复，对非标准英语方言匹配不足。作者提出校准适配对（CAP）数据集，能在保持标准英语用户回复质量的同时提升方言匹配能力，且不影响指令遵循效果。

Code2Video-Compass: 通用代码生成视频评测基准

Code2Video-Compass 发布，涵盖 T2V/I2V/V2V 三类视频生成，包含 2,104 项任务和 17 项评测指标。评测显示 15 个 MLLM 在高复杂度任务中表现下降，需提升视频质量与指令对齐能力。

扩散语言模型智能体间的隐藏消息：潜在通信的因果证据

扩散语言模型智能体通过连续状态传递隐藏消息，接收方利用消息内容影响任务表现。在 Tiny-A2D 和 Dream-7B 任务中，移除消息导致性能下降 63.6 和 100.0 点，错误消息使 QASC 准确率从 80.8% 降至 46.8%。单次晚时间传输达 87.8%，优于四次交换。

Qwen-Audio-3.1-ASR 技术报告

Qwen-Audio-3.1-ASR 是基于 Qwen-Audio-3.0-ASR 的音频语言模型家族，支持 30 种语言和 16 种中文方言，新增说话人分段转录和通用音频理解能力。该模型提供异步文件转录、低延迟流式传输等部署变体，并在传统 ASR、多语言及方言语音等任务中通过评测验证性能。

StyleStream 2.0: 快速可控的流式语音风格转换

StyleStream 2.0 将端到端延迟降至 520ms，较前代提升 2 倍速度，同时保持转换质量。该模型通过紧凑的风格嵌入和文本条件流匹配模型，支持基于文本的语音设计和指令式语音编辑。实验显示其在目标风格保真度上达到最优，同时保持可懂度和未编辑属性保真度竞争力。