一个帖子被标记为“欢迎!”

宣布 llm-d 社区成立​

llm-d 是一个云原生高性能分布式 LLM 推理框架
——它是供任何人进行大规模服务的“明径”，在大多数硬件加速器上针对大多数模型提供最快的价值实现时间和极具竞争力的性价比。

借助 llm-d，用户可以使用模块化、高性能的端到端服务解决方案实现生成式 AI 部署的运维化。该方案利用了最新的分布式推理优化技术（如 KV 缓存感知路由和解耦推理），并与 推理网关 (IGW) 中的 Kubernetes 运维工具协同设计并集成。