跳到正文
arXiv · cs.RO· Jeremy A. Collins·· 18 小时前精选AI 评分75

TAPESTRY:一种用于视频生成和机器人控制的单一主干网络

TAPESTRY: A Single Backbone for Video Generation and Robot Control

AI 导读

研究人员提出TAPESTRY方法,将机器人动作视为视频模型潜在空间中的单补丁标记,无需在推理时进行视频生成即可实现机器人控制。该方法通过三个扩散目标优化共享主干网络,在模拟基准和真实机器人实验中表现出色,推理成本显著低于 comparable 的联合视频-动作策略。

推荐理由

将机器人动作转化为视频模型中的补丁标记,实现共享Transformer架构同时处理视频生成与机器人控制,大幅降低推理成本。

来源:arXiv · cs.RO · arxiv.org