跳转至正文

llm-d-infra

此仓库提供用于部署 llm-d 的 Kubernetes 基础设施组件、Helm chart 和运维工具。llm-d 是一个 Kubernetes 原生的高性能分布式大模型（LLM）推理框架。

此仓库包含的内容​

基础设施组件

  • 用于部署 llm-d 网关基础设施的 Helm chart
  • 支持 Istio、Kgateway（包括 Envoy 和 agentgateway 数据平面）以及 GKE 的 Kubernetes Gateway API 配置
  • 服务网格集成和流量管理策略

运维工具

  • 交互式基准测试和测试工具
  • 用于部署验证的冒烟测试脚本
  • 开发辅助工具和自动化工具

快速入门​

先决条件​

  • Kubernetes 1.28+ 集群
  • Helm 3.10+
  • 已安装 Gateway API v1.4.0+
  • 已在集群中部署网关控制器（Istio, Kgateway, AgentGateway 或 GKE）

安装 llm-d 基础设施​

# Add the Helm repository
helm repo add llm-d-infra https://llm-d-incubation.github.io/llm-d-infra/
helm repo update

# Install the infrastructure components
helm install my-llm-d-infra llm-d-infra/llm-d-infra

有关详细的配置选项，请参阅 Helm chart 文档。

文档与指南​

注意： 所有快速入门指南和用户文档均已移至 llm-d 主仓库

此仓库包含

参与贡献​

  1. 问题与功能： 请在 llm-d 主仓库 中提交问题或功能请求
  2. 基础设施变更： 若涉及以下内容，请向此仓库提交拉取请求（Pull Request）：
    • Helm chart 改进
    • 运维工具增强
    • 基础设施配置更新
  3. 开发设置： 请参阅 开发文档

代码所有者​

有关各组件的具体维护者，请参阅 CODEOWNERS。

发布版本​

  • Helm Charts： 可通过 Helm 仓库获取：helm repo add llm-d-infra https://llm-d-incubation.github.io/llm-d-infra/

  • 版本说明： GitHub releases

许可证​

此项目遵循 Apache License 2.0 开源协议。详情请参阅 LICENSE 文件。

内容来源

此内容自动同步自 llm-d-incubation/llm-d-infra 仓库 main 分支下的 README.md。

📝 如需建议修改，请 编辑源文件 或 提交 Issue。