vLLM推出基于推送的KV传输技术
热点事件历史事件
vLLM推出基于推送的KV传输技术
2 篇报道1 个报道来源首报22 天前更新
先了解这件事
AI 综述
2026年10月20日，AWS Machine Learning Blog发布两篇报道，介绍vLLM中的KV传输技术改进。第一篇报道展示了双向KV缓存传输技术，通过在预填充和解码节点间共享KV缓存，减少多轮对话中的重复计算。在Amazon EC2 P5en实例测试中，Qwen3-32B和GLM-5-FP8模型的TTFT分别降低1.6倍和3.3倍。第二篇报道介绍了基于推送的KV传输技术，用于改进vLLM中解耦推理的TTFT和TPOT。测试显示，推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善，该技术通过将传输协调工作移至预填充端的后台线程，避免了关键路径上的延迟。
AI 根据报道生成 · 22 天前更新
最新进展10月20日 00:05
AWS 推出基于推送的KV传输技术提升vLLM推理性能报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning Blog精选AWS 推出基于推送的KV传输技术提升vLLM推理性能
AWS 机器学习博客介绍了基于推送的KV传输技术，用于改进vLLM中解耦推理的TTFT和TPOT。在Amazon EC2 P5en实例上测试，推送模式相比拉取模式实现了最高3倍的TTFT提升和30%的TPOT改善。该技术通过将传输协调工作移至预填充端的后台线程，避免了关键路径上的延迟。
- AWS Machine Learning Blog精选vLLM实现双向KV传输提升多轮智能体工作负载TTFT性能
AWS展示了vLLM中的双向KV缓存传输技术，通过在预填充和解码节点间共享KV缓存，减少多轮对话中的重复计算。在Amazon EC2 P5en实例测试中，Qwen3-32B和GLM-5-FP8模型的TTFT分别降低1.6倍和3.3倍。该技术需要配置块保留TTL和重新计算阈值，并通过KV缓存感知路由器协调。