StateBench: 测试语言模型如何跟踪长文档中的状态变化

Hugging Face 引入 StateBench 基准，用于评估语言模型在长文档中跟踪实体状态变化的能力。该基准包含四个难度级别，从简单的不可变赋值到复杂的引用赋值。研究发现，循环和混合架构模型在直接训练后能更好地处理复杂状态跟踪，而 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol/Luna 等前沿模型在处理更长输入时会显著降低准确性。