字节发现DeepSeek-V4性能周期性波动与KV Cache压缩的关系

字节Seed团队研究发现DeepSeek-V4模型性能会随输入位置周期性变化，最高准确率差距达40.2个百分点，这与模型采用的分块KV Cache压缩技术有关。研究证实这种周期性波动与压缩步长直接对应，后训练和架构迭代可显著缩小差距。