跳到正文
HuggingFace Daily Papers· Jian Mu, Ruibo Shen, Yao Shu·· 1 天前精选AI 评分70

智能体接口的决策几何:你的策略 secretly 是一个 harness

Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces

AI 导读

该论文研究了语言模型智能体通过 harness(提示词、工具和控制逻辑)进行后训练和部署的过程。研究显示,在KL正则化控制下,最优策略的对数赔率恢复其harness对每个动作的偏好强度,训练后的策略会携带其训练harness的偏好。

推荐理由

研究揭示智能体策略与接口间的几何关系,训练后的策略会携带接口偏好,改变接口能同时改变性能上限与策略偏差。

来源:HuggingFace Daily Papers · arxiv.org