HuggingFace Daily Papers· Sreehari Sankar, Debargha Ganguly, Vikash Singh, Mohsen Hariri, Weicong Chen, Yanyan Zhang, Shouren Wang, Wang Yang, Chaoda Song, Alexander Nemecek, Osama Zafar, Idan Davidovich, Yuting Shao, Kai Ye, Biyao Zhang, Xinpeng Li, Joe Stubbs, Erman Ayday, Jing Ma, Vipin Chaudhary·· 2 天前精选AI 评分65
LEANGUARD: 面向工具使用智能体的轻量级验证护栏
LEANGUARD: Lean-Verified Guardrails for Tool-Using Agents
AI 导读
研究人员提出LeanGuard，一种在工具调用前执行策略验证的运行时系统，可在Qwen模型上将禁止执行的工具调用从至少33次降至0次，并将直接提示注入攻击成功率从57.9%降至5.9%。系统提供反馈和基于证明的修复两种纠正方式，修复机制能在2毫秒内为88%的参数值导致的拒绝找到合规替代方案。
推荐理由
通过形式化验证将工具调用错误率降至零，修复机制在88%的案例中成功找到合规替代方案。
来源：HuggingFace Daily Papers · arxiv.org