Value as Memory: 在线价值引导的通用机器人策略后训练

Wenye Yu提出Value as Memory (VaM)框架，通过价值缓存和在线强化学习解决机器人策略后训练中的部分可观测性和反馈延迟问题。在涉及可变形物体和接触密集操作的长时程任务中，VaM在价值缓存方面平均提高成功率29.4%，在线自主学习提高32.8%，在相同梯度步预算下执行8倍策略迭代，并发数据收集和训练使每梯度步时间降低2倍以上。