HuggingFace Daily Papers· Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab, Pratyush Maini·· 7 天前精选AI 评分65
Follow the Gradient: Tracing Safety Degradation Back to Training Data
Follow the Gradient: Tracing Safety Degradation Back to Training Data
AI 导读
研究人员提出SimpleLoRIF方法，通过梯度嵌入识别导致大语言模型安全退化的训练数据。该方法在Tulu 3数据集上移除与不安全响应最相关的20%数据，创建了SafeTulu，使GCG攻击成功率降低22%，同时保持或提升模型能力。研究团队已开源SafeT数据和Hugging Face空间供研究人员使用。
推荐理由
通过梯度追踪识别导致安全退化的训练数据，为模型对齐提供了可扩展的过滤方法。
来源：HuggingFace Daily Papers · arxiv.org