IT之家·· 11 天前AI 评分65
英特尔推出面向至强处理器的推理微服务
英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数
AI 导读
英特尔发布 Intel Inference Microservices 服务,这是一套面向大语言模型推理的容器化微服务方案,可自动检测硬件并配置 vLLM 参数,支持第四至六代至强处理器。该服务通过 OpenAI 兼容 API 提供模型服务,启动时自动检测处理器型号并应用英特尔预先验证的配置参数,无需手动优化。
来源:IT之家 · ithome.com