arXiv · cs.RO· Soovadeep Bakshi·· 3 天前精选AI 评分70
Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences
Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences
AI 导读
研究显示，基于人类偏好学习的奖励模型在机器人控制中可能导致高达76%的真实回报损失。在HalfCheetah和Hopper等环境中， harder MPPI搜索显著降低了真实回报，尽管标签准确率保持在0.75-0.97。研究提出了χ²正则化的MPPI方法，在特定条件下是最优解决方案，并证明了当评分者误差超过一定阈值时无法保证正收益。
推荐理由
基于人类偏好学习的奖励模型在机器人控制中可能导致高达76%的真实回报损失，揭示了偏好学习与实际目标之间的严重偏差。
来源：arXiv · cs.RO · arxiv.org