▶学习 llm-d
浏览我们的视频合集，了解 llm-d 的功能、架构，以及大规模部署 LLM 推理的最佳实践。
Kubernetes 原生分布式推理
DevConf.US 2025 上的 llm-d 介绍 —— 由 Rob Shaw (Red Hat) 讲解在 Kubernetes 上进行分布式 LLM 推理的基础知识。
大规模提供 PyTorch LLM 服务
使用 Kubernetes 和 llm-d 的解耦推理 —— 由 Maroon Ayoub (IBM) 和 Cong Liu (Google) 在 PyTorch 大会上演讲。
具有“明路”指引的分布式推理
观看 Rob Shaw (Red Hat) 探讨 llm-d 的“明路” (well-lit paths) 模式及其简化、生产就绪的分布式推理方法。
多加速器 LLM 推理
深入探讨 Kubernetes 上的多加速器 LLM 推理 —— 由 Erwan Gallen (Red Hat) 在 KubeCon 上演讲。
在 Kubernetes 中路由有状态 AI 工作负载
Maroon Ayoub (IBM) 和 Michey Mehta (Red Hat) 探讨使用 llm-d 和 K8s Gateway API 推理扩展的缓存感知路由策略。