arXiv · cs.RO· Asher James Hancock·· 15 小时前AI 评分55
Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs
Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs
AI 导读
该研究探讨了视觉-语言-动作(VLA)模型中动作专家是否应训练视觉语言模型(VLM)的问题。研究通过独立变化动作标记监督和专家损失是否更新VLM，在自主驾驶和操作任务中解耦这些因素。结果显示梯度隔离的价值取决于VLM的动作监督和评估设置，挑战了将梯度隔离作为默认VLA训练方法的观点。
来源：arXiv · cs.RO · arxiv.org