AWS在Amazon SageMaker AI上实现MoE模型的内核工程优化

AWS详细介绍了在Amazon SageMaker AI上对Mixture-of-Experts (MoE)模型的内核优化技术，包括Swap-AB矩阵转置优化、FP8张量量化后端路由选择以及Triton JIT重新编译消除等方法，这些优化使MoE模型在H200上实现了高达10%的吞吐量提升和9%的首个token生成速度提升。