AWS Machine Learning Blog· Kanwaljit Khurmi·· 1 小时前精选AI 评分65
AWS发布SOCI索引技术,加速SageMaker AI作业启动
Announcing SOCI-indexed images for faster SageMaker AI jobs
AI 导读
AWS宣布推出Seekable OCI (SOCI)索引技术,用于Amazon SageMaker AI训练和处理作业,将容器镜像下载时间从分钟级缩短至秒级,同时保持训练性能不受影响。该技术通过懒加载机制,只启动容器所需的文件,其余文件在后台流式传输,可减少高达90%的GPU空闲时间。用户可通过使用预索引的AWS深度学习容器或为自己的镜像添加索引来采用此技术,无需更改作业定义、入口点或数据通道。
推荐理由
容器镜像下载时间从分钟降至秒级,SOCI索引技术让AI训练作业启动速度提升8-46倍,同时保持训练性能不受影响。
来源:AWS Machine Learning Blog · aws.amazon.com