NVIDIA 开放模型助力欧洲公共部门新项目
NVIDIA 推出开放模型支持欧洲公共部门项目,包括欧盟委员会的 AI@EC 平台、波兰的医疗和就业服务系统、德国的机密工作平台等。这些项目使用 NVIDIA 的 Nemotron-Personas 数据集和 NeMo User Sim 库,在本地基础设施上运行模型,同时保持数据主权。
推荐理由:开放模型让政府既能掌控数据又能定制服务,但真正的挑战在于如何平衡本地化需求与全球模型生态。
技术方向
具身智能全赛道追踪:VLA 与世界模型等具身大模型、机器人本体与灵巧手等硬件本体、开源软件与仿真生态、数据与基准。
195 条精选近 30 天 193 条共收录 619 条
NVIDIA 推出开放模型支持欧洲公共部门项目,包括欧盟委员会的 AI@EC 平台、波兰的医疗和就业服务系统、德国的机密工作平台等。这些项目使用 NVIDIA 的 Nemotron-Personas 数据集和 NeMo User Sim 库,在本地基础设施上运行模型,同时保持数据主权。
推荐理由:开放模型让政府既能掌控数据又能定制服务,但真正的挑战在于如何平衡本地化需求与全球模型生态。
NVIDIA 加速欧洲零售商使用开源模型和物理智能,Shopify 通过后训练模型将推理成本降低90%,响应速度提升7倍;Zooplus 实现了86%的搜索准确率;L'Oréal 将成分筛选时间从数月缩短至数小时;Mirakl 已处理超过7000万种产品。
推荐理由:欧洲零售商用开源模型降低90%推理成本,NVIDIA正将AI从数字发现延伸至物理操作,虚实融合的零售新范式正在形成。
NVIDIA扩展了Cosmos平台,新增训练工具、仿真检查点和Cosmos Data Factory蓝图,帮助开发者构建物理AI系统的世界模型。平台提供多模态数据处理、模型微调和优化工具,并已应用于自动驾驶、工业检测等领域。
推荐理由:从数据工厂到模型训练再到部署,NVIDIA Cosmos构建了完整的世界模型开发流水线,工业应用已开始验证其价值。
研究人员提出HuMiT系统,仅需使用紧凑参考目标(包括根高度、根速度和四个稀疏关键点的SE(3)姿态)即可实现全身远程操作,达到约20毫秒的通信到推理延迟和65毫秒的光流延迟。该系统在Unitree G1人形机器人上验证,展示了接球和协调操作能力。
推荐理由:通过仅使用紧凑参考目标实现20毫秒低延迟,解决了人形机器人远程操作中的实时性挑战。
本文提出了一种主动感知框架,使高自由度移动机械臂在导航过程中使用手部相机检查不确定或安全关键区域。该框架通过概率性的面向对象和任务的下一最佳视图(NBV)公式,优先观察期望路径附近和不确定或可能变化物体周围的区域。实验表明,与被动或非任务感知的基线相比,该方法提高了地图一致性,降低了任务相关的地图熵,并减少了导航风险。
推荐理由:移动机械臂在半静态环境中通过主动感知降低碰撞风险,将导航与地图维护闭环整合。
研究人员提出DONIC,首个通用双灵巧手跟踪控制器,结合近端策略优化与行为克隆,在无需微调的情况下,对训练对象未见轨迹成功率达86.79%,超出最先进基线77.36个百分点。同时发布BiHOI数据集,包含1575个序列,覆盖229个物体,强调持续双手交互。
推荐理由:首个通用双灵巧手跟踪控制器通过人类演示训练,成功率达86.79%,解决了双手协调操作数据稀缺问题。
Yicheng Xu提出TARSphere框架,包含基础设施TARSphere-Infra和多模态大语言模型智能体TARSphere-Harness,用于在物理和社会环境中评估长周期具身智能体。研究通过TARSphere-Bench基准测试评估了8个多模态大语言模型,发现通用模型在特定任务上表现优于专用具身模型,但任务更新和人类交互仍是挑战。
推荐理由:TARSphere框架首次将物理与社会约束整合进长周期具身智能体评估,揭示了通用模型在复杂环境中的潜力与执行安全挑战。
Zhaohui Yang等人提出SP-HLM框架,结合五个关键身体姿态与潜在运动先验,实现人形机器人的操作控制。该框架包含SP-VLA视觉语言动作模型预测稀疏姿态,SP-MGM运动生成模型重建全身动作,以及SP-GMT通用运动跟踪器实现全身控制。实验表明该方法在运动跟踪、全身协调和操作成功率上优于现有方法。
推荐理由:通过稀疏姿态驱动接口分离任务意图与全身协调,解决了人形机器人操作中的控制难题。
研究人员提出了一个统一的闭环操作框架,用于评估前沿AI模型在LIBERO-10基准测试中的表现。测试包括GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5、Claude Opus 5.5和Gemini-4 Argon六个模型,在三种推理努力水平下进行了1800次评估。
推荐理由:前沿AI模型在机器人操作任务中成功率最高仅44%,推理能力转化为可靠物理动作仍是挑战。
研究人员提出RISE方法,通过视觉扩散规划器实现人形机器人摔倒后的任务导向恢复,可在推理时根据任务目标控制机器人站立方式。该方法在Unitree G1机器人上进行了真实世界演示,展示了多样化的恢复策略、地形适应能力和无需重新训练的测试时转向功能。
推荐理由:通过视觉扩散规划器实现人形机器人摔倒后的任务导向恢复,无需重新训练即可适应不同地形和目标。
该研究探讨了在月球重力、地形和土壤条件下,地球训练的人形控制器的迁移能力。研究在模拟的Unitree G1上训练了12种策略,测试了不同重力、地形和地面接触条件下的表现。
推荐理由:研究首次系统验证了地球训练的人形控制器在月球重力与地形下的迁移能力,发现重力转移不对称且粗糙地形训练显著提升生存率。
Likui Zhang提出AtomicRL框架,通过语义感知策略优化(SAPO)和瓶颈自适应目标探索(BATE)解决VLA模型在长时程任务中的信用分配问题。在LIBERO-LONG和CALVIN ABC-D数据集上,相比PPO方法分别提升3.6%和9.5%的性能,结合Real2Sim2Real管道后,实际机器人任务性能平均提升21.3%。
推荐理由:通过原子任务结构解决长时程机器人操作中的信用分配难题,Real2Sim2Real管道使仿真到现实迁移效率提升21.3%。
Sriyash Poddar 提出 ASTEROID 框架,通过学生-教师监督学习让机器人在部分可观测环境中学习测试时探索。该方法在11种不同环境中表现优异,返回率提高约2倍,交互次数比强化学习减少约100倍,在仿真到真实机器人操作中成功率提升40%。
推荐理由:ASTEROID 框架通过不对称在线策略蒸馏,让机器人在不确定环境中高效探索,比强化学习减少99%交互次数。
本文提出多模态具身智能体(MMEAs)概念,定义了PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。研究分析了从计算机使用到机器人使用的转变面临的五大物理约束,并指出当前64个基准测试中仅有5个评估预测能力,3个评估验证能力,存在评测不平衡问题。
推荐理由:从计算机使用到机器人使用的多模态智能体转变面临五大物理约束,当前评测过度关注执行而忽视预测与验证能力。
Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。
推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。
Yunhao Luo 提出 PhysiCalWorld 方法,通过上下文提示而非微调或物理建模来校准世界模型的实例特定动力学。该方法将探索性交互片段编码为紧凑的物理描述符令牌,显著提高了滚动预测准确性和视觉规划成功率,并在训练物理范围之外表现出泛化能力。
推荐理由:通过上下文提示而非微调实现世界模型的物理校准,为具身智能提供了更准确的场景预测能力。
Zhuoyang Liu等人提出AW-0框架,将代码规划与视频、动作预测整合为三个耦合的生成流,在RoboTwin 2.0和双臂操作任务中表现优于VLA和WAM基线模型。
推荐理由:AW-0框架首次将代码规划与视频、动作预测耦合,为机器人提供了可复用的技能库,弥合了预测与执行间的鸿沟。
研究人员提出ALPS,一种预训练的视觉状态编码器,能够统一物理状态信息、原生语言对齐和像素重建三种能力。在LIBERO评估中,ALPS在ViT-B模型中实现了最低的聚合状态探测误差,同时保持了强大的语言对齐和准确的像素重建能力。
推荐理由:ALPS通过统一物理状态、语言对齐和像素重建三种能力,为世界模型提供了更全面的视觉基础。
特斯拉 CEO 马斯克宣布计划为 Optimus 人形机器人建造机器人学校,用于 AI 训练。同时透露年产 100 万台机器人目标需超过一年达成,Terafab 芯片工厂预计 2028 年第三季度量产,经济价值或跻身全球前 20 经济体。
推荐理由:马斯克同时推进机器人学院与芯片工厂,量产目标与训练需求形成闭环,但万环节供应链仍是最大挑战。
Rodion Shkokov提出AOV-GS系统,使用冻结的SAM和CLIP模型引导机器人探索,构建支持开放词汇语义查询的3D地图。在Replica和Matterport3D数据集上,该方法相比纯几何主动规划提升了语言场mIoU 1.3-1.8个百分点,同时保持新视角PSNR相当。代码已公开。
推荐理由:冻结基础模型引导机器人探索,无需人工标注即可构建开放词汇语义地图,提升语义查询能力。