AWS优化SageMaker AI TTS自动扩展
先了解这件事
2026年10月23日，AWS Machine Learning Blog发布文章，介绍了Amazon SageMaker AI在部署Kokoro-82M TTS模型时采用的自动扩缩容目标测量方法。AWS通过实测的Q_max（最大并发请求数）和T_total（扩容耗时）替代了猜测的自动扩缩容目标。该方法基于ConcurrentRequestsPerModel指标，旨在避免因目标值错误导致的资源闲置或延迟超标问题。随后，AWS发布新教程，展示如何通过流式文本到语音(TTS)技术解决AI语音代理的响应延迟问题，在Amazon SageMaker AI上部署Kokoro-82M模型，实现句子级别的语音合成，将首次音频输出时间从329.3毫秒减少到156.7毫秒，提升52.4%。同时比较了不同传输方式的成本和性能，包括base64编码SSE和二进制JSON混合传输方案。
AI 根据报道生成 · 19 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AWS Machine Learning Blog精选AWS博客：使用Amazon SageMaker AI上的Kokoro TTS实现AI语音代理的流式低延迟语音
AWS发布教程，展示如何通过流式文本到语音(TTS)技术解决AI语音代理的响应延迟问题。文章介绍了在Amazon SageMaker AI上部署Kokoro-82M模型，实现句子级别的语音合成，将首次音频输出时间从329.3毫秒减少到156.7毫秒，提升52.4%。同时比较了不同传输方式的成本和性能，包括base64编码SSE和二进制JSON混合传输方案。
- AWS Machine Learning BlogAmazon SageMaker AI 如何通过实测优化 TTS 自动扩缩容目标
AWS 在 Amazon SageMaker AI 部署 Kokoro-82M TTS 模型时，用实测的 Q_max（最大并发请求数）和 T_total（扩容耗时）替代猜测的自动扩缩容目标。该方案基于 ConcurrentRequestsPerModel 指标，避免因目标值错误导致资源闲置或延迟超标。