Video-Point Model 通过点轨迹预测学习4D世界
研究团队提出 Video-Point Model (VPM),一种基于多视角视频和语言指令的4D世界模型,可预测未来视频和3D点轨迹。VPM-Data 数据集和 VP-WorldBench 评测基准支持训练,点监督提升视频保真度和3D运动准确性。机器人控制扩展中,动作令牌与视频联合去噪,提高模拟和真实机器人操作成功率。
研究团队提出 Video-Point Model (VPM),一种基于多视角视频和语言指令的4D世界模型,可预测未来视频和3D点轨迹。VPM-Data 数据集和 VP-WorldBench 评测基准支持训练,点监督提升视频保真度和3D运动准确性。机器人控制扩展中,动作令牌与视频联合去噪,提高模拟和真实机器人操作成功率。
本文提出了一种基于自适应穿越管道(ATT)的姿态感知导航框架,结合区间速度-航向(IVH)控制和增强侧步的AMP运动先验,使双足人形机器人能够通过调整身体偏航改变有效足迹,实现窄通道穿越和社交感知避让。该方法已在MuJoCo仿真和实际机器人部署中进行了演示,并计划在宇树G1上进行定量评估。
推荐理由:通过自适应穿越管道和速度-航向控制,人形机器人能在狭窄通道和社交场景中灵活调整姿态,提升导航稳定性。
Jinghan Gao提出PanoGraphGS框架,整合全景3D高斯表示学习与分层3D场景图构建。该方法在共享高斯几何上学习语义和实例特征,支持新视角全景分割和高斯级全景解码。在Replica和NaviGS数据集上,PanoGraphGS在物体节点准确率上超越最强基线50个百分点以上,并在2D全景分割任务中达到最先进性能。研究团队同时发布了NaviGS全景场景理解数据集。
研究通过 HighwayEnv 测试台(1Hz, gpt-4o-mini)评估 LLM 驾驶智能体的经验记忆,发现预热池随机性显著影响结果,15-token 警示指令可达到无记忆基线性能,且基线移植质量会反转结论。
RLTrajGen-PPMPC-CBF 框架通过强化学习与模型预测控制耦合,在 MetaDrive 环境中实现自动驾驶环岛安全导航,平均成功率提升 6.25%,运动病剂量值降低 65.87%,并加速训练收敛。该框架采用预设性能约束确保轨迹跟踪一致性,结合控制屏障函数提供实时安全修正。
AWLS 通过优势加权动作重建目标训练残差噪声整形器,改进冻结的单步生成式机器人操作策略,在模拟和真实机器人操作任务中优于基础策略且限制行为漂移。该方法无需更新解码器,保持快速单步推理,并采用无回滚解码器敏感性准则选择预训练检查点。
研究通过让视觉语言模型模拟儿童数指动作,在9个模型、682张图像和7种测试条件下发现,模型的精确计数范围差异显著(R80从3到150点);标记作为干预手段仅对4个模型在小规模计数照片中有效,但作为测量工具可追踪模型推理过程;模型遵循指令遍历顺序却常因顺序反转改变答案,与儿童行为存在差异。
研究团队提出RoboJudge-Bench基准,用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频,测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集,并基于此训练出RoboJudge-9B模型,在评测中达到与人类判断的最高一致性,皮尔逊相关系数达0.719,比最佳基线模型Gemini-3.7-Flash高出0.089。
推荐理由:首个系统性评测多模态大模型对具身视频生成判断能力的基准,揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。
Oliver Hausdörfer提出一种多视角潜在动作模型(LAM),通过交叉注意力解决深度和遮挡问题,将同步多摄像头视图压缩为潜在动作。实验表明,双视角LAM预训练将真实6D动作解码准确率提高17%,下游策略成功率提升13.5%,单次跨具身学习即可实现技能迁移,硬件实验中成功率提升20%。
推荐理由:多视角潜在动作预训练将6D动作解码准确率提升17%,证明视频与机器人数据互补且任务依赖性强。
研究提出基于智能体的物理感知框架,从多源轨迹数据中发现自适应平衡响应模型(AERM),在自然驾驶数据上降低间距RMSE达9.11%-21.73%,提供可解释的微观交通仿真基础。
Haocheng Wang等人提出RoboCasa-Shift基准,用于评估视觉-语言-动作(VLA)策略在分布变化下的鲁棒性。研究在GR00T N1.5模型上测试了四个长时序任务,发现鲁棒性响应在不同因素和任务间差异显著,且严重程度增加并不总是导致单调退化。研究表明VLA鲁棒性应被视为执行的多维特性,而非单一的端到端性能指标。
研究团队在RoboColiseum平台上对GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon四个模型进行了多维度比较评估,涵盖指令跟随、空间推理、通用操作和鲁棒性四个方面。结果显示所有模型在指令跟随上表现优异,空间推理能力强,但通用操作能力较弱;Astra在指令跟随和鲁棒性上领先,Opus在空间推理、通用操作和整体性能上领先。
推荐理由:大模型在机器人任务上展现出指令理解与空间推理优势,但执行能力仍存明显差距,模型间互补性强。
本文提出了一种验证引导的训练框架,通过概率枚举安全约束来检测前向不变性违规,生成比标准对抗攻击方法更精确的失败边界反例。在Isaac Sim环境和真实自动驾驶赛车实验中,该安全过滤器实现了零安全约束违规,相比传统控制器和LQR备份策略表现更优。
研究提出一种高精度 RCM 伺服架构,通过分层 QP 控制器和权限引导规划器解决约束诱导任务奇异性问题。在 200 场景运动学基准测试中,该架构实现 100% 近奇异目标可达率和 99% 近关节极限目标可达率,软件 RCM 残差低于 0.142 mm。物理 6-DOF 机械臂实验显示最坏情况 RCM 残差为 178 μm,尖端调节误差中位数为 32 μm,满足眼科任务 200 μm 控制要求。
Amane Yamaguchi研究了PointHand远程操作界面中不同手部视觉呈现方式对新手操作者演示质量和策略学习的影响。在模拟任务中,仅强调拇指和食指关键点的新手收集了441次成功演示,比显示真实手形的320次高出38%。
Jingjiao Zhao提出EventSync框架,通过事件驱动记忆更新协调任务推理和动作执行,在RoboMME基准上达到64.5%的整体成功率,比最佳基线高出20个百分点。该框架结合视觉语言模型生成子目标和视觉语言-动作模型执行,并通过轻量级事件监控器确定子目标完成状态。
推荐理由:事件驱动记忆更新解决了机器人操作中历史依赖任务的关键挑战,在RoboMME上实现64.5%成功率,领先基准20个百分点。
研究人员提出Lafa模型,一种80亿参数规模的连续流语言模型,采用块状流设计和因果注意力机制,仅需不到300亿token即可完成训练。该模型在指令跟随、推理和编码任务上表现优于自回归模型,并通过自推测解码方案实现了2.54倍的吞吐量提升。
Matrix-Game 4.0通过分离游戏执行与视觉生成,实现了480p分辨率、60FPS的实时游戏体验,在NVIDIA RTX5090上按键到显示延迟为112ms。该系统使用轻量级游戏引擎维护世界状态,多模态编码代理将玩家想法转化为游戏代码,基于自回归视频模型的渲染器将引擎渲染的低多边形代理转换为详细视觉效果。
同一件事,精选收录的是《昆仑万维发布Matrix-Game 4.0视频大模型游戏》
研究人员提出SolarRenderer,一种结构条件视频渲染器,通过冻结MiniMax-H3 33B主干模型并使用两个轻量级LoRA适配器,实现了四步渲染,比50步采样快12.3倍。该模型在136K帧对齐语料上训练,可在16种结构表示上达到最先进结果,并能泛化到11种未见表示,包括姿态骨架、绘图和点云。
推荐理由:四步渲染比传统方法快12.3倍,同时保持对11种新结构表示的泛化能力,为实时视频生成开辟新路径。
Sage-A1.5是一个35B参数的混合专家智能体模型,在A1基础上通过自适应能力组合提升长周期问题解决能力。该模型具有三大改进:智能体编排、验证和开放科学发现,支持任务分解、并行协作、进度检查和策略修订,并能进行探索性科学研究。
推荐理由:通过能力组合实现长周期任务执行与科学探索,Sage-A1.5展示了智能体协作与验证的新路径。
研究者推出 MMEnterprise-Bench 基准,包含 1,613 个基于多模态演化记录的问题,涵盖证据推理、冲突解决和不可回答性三类。评测 10 个多模态大语言模型发现,即使最强模型在处理跨源或时间冲突证据时表现不佳,且增加检索预算未显著提升答案准确性。代码和数据已开源。
美国康奈尔大学研究发现,向四层石墨烯材料施加电压可改变其层间排列,实现非磁性与磁性状态切换,且撤去电压后磁性状态仍能保持。该研究为调控二维材料量子特性提供新思路,相关论文发表于《自然·纳米技术》。
研究团队提出LaLa-World,一种语言条件潜在世界模型,通过语言描述数值动作和视觉变化,实现跨域学习。该模型在MPC规划性能上优于现有LWM,训练成本降低6倍,推理速度提高13.9倍。基于此的LaLa-Policy在LIBERO和RoboCasa上与Cosmos Policy竞争,推理速度提升5.5倍。
推荐理由:用语言描述动作和视觉变化,让单一预测器跨域学习,6倍降低训练成本仍保持规划性能。
研究人员通过实验发现,现代LLM智能体能够从可访问文档中检索信息并披露敏感结论,造成马赛克效应风险。在模拟测试中,即使添加分类标签和聚合规则,GPT-5.6-Sol等模型仍以32.37%的泄露率披露禁止信息,且拒绝回答反而可能暴露禁止结论。研究使用了30个合成案例和两个开源测试平台,共测试了10,800个模拟答案和1,440个实时答案。
推荐理由:即使添加分类标签和聚合规则,AI智能体仍会以32.37%的泄露率通过马赛克效应暴露敏感信息,拒绝回答反而可能暴露禁止结论。
NVIDIA发布Foundation4D,一种统一的前馈模型,可从多摄像头驾驶视频中实现几何估计、3D检测、语义占用和高斯重建。该模型共享骨干网络,使用分解时空注意力高效跨摄像头和时间组合观测,并通过位图优化优化相机轨迹。
推荐理由:统一模型同时处理几何估计、3D检测和语义占用,任务组合提升1.2点mAP,为无激光雷达场景重建提供新思路。
SplatLab是一个针对3D高斯溅射(3DGS)的自主研究系统,能够复现已发表论文、提出扩展方案、训练模型并撰写论文。该系统在Mip-NeRF 360和LLFF数据集上,其生成的论文在PSNR指标上比复现目标高出+0.18至+3.78 dB,包括在天文摄影星云渲染上取得的+3.78 dB提升。
推荐理由:SplatLab 将科研周期从数月压缩至数天,通过可验证的实验流程和自动生成的论文,实现了3D高斯溅射研究的自主发现。
该论文探讨了递归自我改进(RSI)在物理AI中的应用,分析了机器人学习中的能力改进与改进过程改进的路径,并总结了现有研究的评估原则和研究方向。
推荐理由:递归自我改进机制在物理世界面临学习成本与安全挑战,现有研究尚未完全证明递归增益的独立性。
研究人员提出FRED框架,通过自蒸馏方法提升世界行动模型(WAMs)的未来视频表示质量。该框架在真实操作场景中表现优异,特别是在长时程和跨领域任务上,零样本泛化能力显著提升,人机技能迁移成功率从19.4%提高到50.0%。
推荐理由:通过自蒸馏提升未来视频表示质量,使机器人零样本泛化能力提升近2.6倍,人机技能迁移成功率突破50%。
研究提出在3D隐空间中直接生成场景,通过扩散模型实现3D-grounded场景生成,实验证明其在效率和空间一致性上优于2D方法,代码已开源。
研究发现 LLaVA-1.5-7B 在 POPE 基准上的 F1 分数受 token 读取方式影响,使用 8 个 token 查询时 adversarial 分数达 0.8713,比原方法高 6.13 点。该干扰效应跨四个 VLM 和三个分词器家族普遍存在, tokenizer 派生的读取方式能保持 0.80-0.92 的 F1 分数。
研究团队推出RoboValue基准,包含15个模拟和20个真实世界操作任务,用于评估机器人价值模型在任务状态理解、时间进度监控、失败与恢复推理以及价值一致性四个维度的能力。研究发现现有模型在细粒度指令基础、历史依赖进度跟踪和恢复评估方面存在错误,同一语义子任务在不同执行顺序中可能获得显著不同的价值增益。
同一件事,精选收录的是《RoboValue: 用于机器人价值模型统一评估的细粒度仿真与真实世界基准》
研究提出 ActionRoPE 接口,将行动驱动的相机位移转换为世界坐标旋转位置,使同一世界位置的 token 保持时间一致性。Coordinate-Conditioned Noise Scheduling 根据已知-新结构分配去噪调度,减少重访漂移 66%。该方法适配 1.3B 至 33B 参数的视频骨干模型,并可迁移至分布外场景。
研究通过 PhysRSI-eval 评估 VLM 在 18 项操作任务中的物理递归自改进机制,提出物理桶假说,分析能力对改进的约束作用,并发现场景适应与可复用经验可共存。
MemT-1.0是一种新型记忆基础模型架构,将记忆内化为模型计算的一部分。该模型采用Gated DeltaNet-2和Mixture-of-Storage技术,在128K上下文长度下实现1.86倍端到端推理加速和66倍持久存储减少,同时保持与检索增强方法相竞争的性能。研究团队发布了MemT-1.0-Nano和MemT-1.0-Flash模型,并通过34B tokens训练数据进行了全面评估。
推荐理由:将记忆内化为模型计算能力,MemT-1.0 在128K上下文下实现1.86倍推理加速和66倍存储减少。
研究提出 KronLSTM,一种基于 Kronecker Delta Rule 的线性注意力架构,通过最小化内存干扰机制提升长上下文语言建模性能。实验显示其优于现有线性注意力架构,尤其在长上下文基准测试中表现突出。代码与模型已开源。
SpecMRL 通过参数谱基重新组织特征空间,在 MTEB 评测中全面超越 Matryoshka 表示学习,更激进压缩下性能提升更大。仅用半数嵌入维度即可超越全维度性能,证明其能更有效压缩表示。
研究团队发布了HandsOn,一个跨平台灵巧操作仿真基准测试,支持五种机械臂、六种灵巧手和约200种随机场景中的刚体、关节和可变形物体。该基准测试包含18,000个人类演示和66个验证任务,分为Core-50和Transfer-16两部分。
同一件事,精选收录的是《HandsOn: 一种可推广的灵巧操作大规模仿真基准》
本文提出Vision-Language-Delta-Action(VLDA)范式,将完整未来预测重构为紧凑可操作的转换建模。其核心是紧凑的Delta变量,作为视觉语言理解与动作生成的接口。实验表明VLDA提高了长时一致性、鲁棒性和泛化能力。
推荐理由:通过紧凑的Delta变量作为视觉语言理解与动作生成的接口,VLDA模型降低了机器人学习负担,提升了长时一致性和鲁棒性。
研究团队提出AdaExploreBench基准,测试LLM智能体在动态环境中主动探索和适应的能力。实验显示,即使是最先进的GPT-6 Sol模型也仅达到61.9%的校准准确率,而提供足够证据或移除规则漂移可提高近10%的性能。
诺奖得主安德烈 · 海姆表示,单层石墨烯具有超高导热性等卓越特性,15 年内相关研究将走入百姓生活。他举例石墨烯改性沥青可提升路面耐用性两倍,延长铺路周期至 10-15 年。