HuggingFace Daily Papers· Weichen Fan, Haiwen Diao, Penghao Wu, Siyuan Hu, Ziqi Huang, Tianqi Liu, Mingze Sun, Ziyi Wang, Zhongang Cai, Hanming Deng, Quan Wang, Lei Yang, Lewei Lu, Fangzhou Hong, Zhaoxi Chen, Dahua Lin, Ziwei Liu·· 16 小时前精选AI 评分75
从像素到动作：迈向原生视觉-语言-动作策略
From Pixels to Actions - Towards Native Vision-Language-Action Policies
AI 导读
研究人员提出NEO-VLA，一种无视觉编码器的视觉-语言-动作框架，通过轻量级补丁卷积层对图像进行标记，并与语言在骨干网络中共同演化，使动作专家能够从不同深度的指令条件视觉表征中提取信息。实验表明，原生架构在受控比较中优于基于编码器的对应架构，在各种操作设置和分布偏移下实现了更强且更鲁棒的控制。
推荐理由
放弃传统视觉编码器的架构设计，让视觉表征与语言共同演化，为具身智能提供了新思路。
来源：HuggingFace Daily Papers · arxiv.org