HuggingFace Daily Papers· Zihao Feng, Qingzhao Zhang, Chunyu Xia, Bo Yu, Z. Morley Mao, Ramesh Govindan·· 2 天前精选AI 评分65
Say the Same, Act Differently: Diagnosing and Steering Text-Action Divergence in Reasoning VLAs
Say the Same, Act Differently: Diagnosing and Steering Text-Action Divergence in Reasoning VLAs
AI 导读
研究人员发现视觉扰动可以在保持文本解释完全相同的情况下改变推理型视觉-语言-动作(VLA)模型的物理行动。在Alpamayo驾驶和InstructVLA操作模型中,文本中性动作子空间(TNAS)诊断显示,局部最动作敏感的方向与文本损失梯度几乎正交。
推荐理由
视觉扰动可在保持文本解释不变的情况下改变AI智能体的物理行动,挑战了安全监控的可靠性。
来源:HuggingFace Daily Papers · arxiv.org