arXiv · cs.RO· Zihao Feng·· 1 天前精选AI 评分70
Say the Same, Act Differently: 诊断和引导推理VLA模型中的文本-行动差异
Say the Same, Act Differently: Diagnosing and Steering Text-Action Divergence in Reasoning VLAs
AI 导读
该论文研究了推理视觉语言行动(VLA)模型中的文本-行动差异问题，提出文本中性行动子空间(TNAS)诊断方法，发现视觉扰动可在保持文本理由完全相同的情况下改变机器人行动。在Alpamayo驾驶和InstructVLA操作任务中，TNAS引导的攻击在52.6%的场景下导致碰撞而文本理由保持不变，同时提高了文本理由保留率并减少了文本漂移。
推荐理由
视觉扰动可在保持文本理由不变的情况下改变机器人行动，挑战了当前VLA模型的安全监控方式。
来源：arXiv · cs.RO · arxiv.org