FLAMIA: 面向 Blackwell 的快速且因果安全的注意力机制微缩方法

研究人员提出 FLAMIA，一种针对 NVIDIA Blackwell GPU 的注意力机制内核家族，采用 MXFP8 和混合 NVFP4/FP8 训练路径。该方法通过令牌块缩放、量化操作重用和文档局部缩放等技术，在 B200 和 B300 上实现了 1.06-1.42 倍的加速，同时保持了训练稳定性和模型质量。