跳到正文
AWS Machine Learning Blog· Pierre Lienhart·· 6 天前AI 评分43

Deepgram 优化 AWS Trainium 语音 AI 推理效率

How Deepgram optimized voice AI at scale with AWS Trainium

AI 导读

Deepgram 将 Nova-3 语音识别模型迁移至 AWS Trainium2,在批处理任务中实现每美元处理音频量提升 11–70%。通过 PyTorch 重建、内核调优及 Rust 并行运行时,单 trn2.3xlarge 实例可运行 8 个模型副本,成本效率显著提升。

来源:AWS Machine Learning Blog · aws.amazon.com