基于语言的力/扭矩预训练用于外部接触感知

Kazuki Takahashi 提出了一种新方法，通过将六轴力/扭矩历史与冻结语言空间对齐，预训练为语义化物理表示。该方法在模拟环境中支持对机器人动作、物体重量和抓取交互的文本原型读取，在真实世界放置任务中无需更新编码器即可实现接触和支撑状态识别，优于基线方法。对于预训练中未出现的事件，低秩适应实现了比从头开始训练更高效的学习。