肉眼可见的 KV 缓存收益：从 vLLM 中的前缀缓存到 llm-d 的分布式调度
·阅读时长 21 分钟
llm-d 项目提供了一系列“明径”——用于在生产环境中部署大语言模型的、经过测试和基准评估的解决方案。我们的第一条路径，智能推理调度，通过平衡集群负载和前缀缓存（prefix-cache）亲和性，为 AI 感知路由建立了基准。该路径的默认配置对后者使用“近似”方法，根据请求流量预测缓存局部性。
本博客阐述了一条更先进且强大的路径：精确前缀缓存感知调度。
我们深入探讨了该特性的下一代技术，它超越了预测，赋予调度器直接内省分布式 vLLM 缓存的能力。这种精确性是最大化缓存命中率的关键，能在分布式部署中实现更高水平的性能并最大化成本效益。
博客核心要点
- KV 缓存命中率直接影响底线：已缓存 token 与未缓存 token 之间存在 10 倍的成本差异，缓存效率不仅是性能优化，更是根本性的成本和性能驱动力
- 并非理论：对话式 AI 和 Agent 工作流等真实生产工作负载，会自然产生这种适合该方案的高前缀模式
- vLLM 的前缀缓存在分布式部署中会失效：标准负载均衡器会将相关请求分散到不同 Pod，破坏缓存局部性并强制进行昂贵的重复计算
- 精确前缀缓存感知调度带来数量级提升：我们的基准测试显示，在相同硬件上，响应速度提升了 57 倍，且吞吐量翻倍
