arXiv · cs.RO· Eadom Dessalene·· 3 天前精选AI 评分65
MotorSense: 用于动作理解的手部运动表征视频-肌电数据集
MotorSense: A Video-EMG Dataset of Motoric Representations for Action Understanding
AI 导读
MotorSense是首个大规模配对的第一人称视角视频和表面肌电(EMG)数据集，包含100小时无脚本操作的视频、双EMG带、IMU和同步音频。研究通过视频与EMG的跨模态预训练，实现了视觉与运动空间的传感器对齐，在动作识别、3D手重建和3D接触重建等任务上优于传统自监督学习方法。
推荐理由
首个大规模视频-肌电数据集让计算机视觉模型同时学习视觉和运动信号，为手部动作理解开辟新路径。
来源：arXiv · cs.RO · arxiv.org