AWS Machine Learning Blog· Joseph Cottingham·· 3 天前AI 评分40
Amazon SageMaker AI 如何通过实测优化 TTS 自动扩缩容目标
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 导读
AWS 在 Amazon SageMaker AI 部署 Kokoro-82M TTS 模型时，用实测的 Q_max（最大并发请求数）和 T_total（扩容耗时）替代猜测的自动扩缩容目标。该方案基于 ConcurrentRequestsPerModel 指标，避免因目标值错误导致资源闲置或延迟超标。
来源：AWS Machine Learning Blog · aws.amazon.com