AWS Machine Learning Blog· Kevin Shabahang·· 5 天前精选AI 评分70
i14的Laplace 3B线性注意力模型在AWS Trainium2上的训练与部署
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14与AWS合作，将Laplace 3B线性注意力模型适配到AWS Trainium2加速器上，使用原生PyTorch支持。该模型通过门控线性注意力(GLA)实现固定大小的循环状态(29.5MB/序列)，训练速度达120,000 tokens/秒，推理速度达11,544输出tokens/秒(1,280并发序列)。
推荐理由
线性注意力模型在AWS Trainium2上实现了固定状态大小，解决了传统transformer的KV缓存增长问题，为长上下文应用提供了新思路。
来源：AWS Machine Learning Blog · aws.amazon.com