跳到正文
arXiv · cs.RO· Akila Ayanthi·· 23 小时前精选AI 评分75

解码几何而非标记:用于机器人 affordance 和轨迹预测的高效 VLM

Decoding Geometry, Not Tokens: Efficient VLMs for Robot Affordance and Trajectory Prediction

AI 导读

本文提出一种方法,利用0.5-2B参数的现成VLM中间隐藏状态中的空间信息,通过轻量几何兼容预测头直接回归affordance框和轨迹点作为连续值。在ShareRobot-Bench和AGD20K上测试,2B变体在轨迹预测上降低60%以上误差,affordance mAP提升85%,在3.8倍吞吐量下接近RoboBrain性能。

推荐理由

通过几何兼容预测头直接回归连续值,2B参数模型在轨迹预测上降低60%误差,逼近更大模型性能。

来源:arXiv · cs.RO · arxiv.org