llm-d 社区更新 - 2025年6月
·阅读时长 4 分钟
大家好！llm-d 项目取得了巨大进展，我想分享一些重要的更新以及参与其中的机会。
帮助塑造 llm-d 项目的未来
为了指导 llm-d 项目的未来发展，我们需要了解社区在现实世界中的挑战、配置和性能需求。我们创建了一份简短的调查问卷，以深入了解您如何提供大语言模型服务，从您使用的硬件到您最需要的特性。
这份 匿名、与供应商无关的调查大约需要 5 分钟完成。您的反馈将直接影响项目的路线图和优先级。汇总结果将分享到 llm-d-contributors 邮件列表，使整个社区受益。
您的反馈将定义我们的路线图
我们创建了 llm-d 社区路线图调查 来收集有关您的 LLM 工作负载的信息。我们希望了解：
- 您的服务环境： 包括您现在使用以及预计一年后使用的硬件（如 NVIDIA GPU、AMD GPU 或 CPU），以及您是在本地、云端还是边缘设备上运行。
- 您的模型策略： 您是提供少量大型模型还是许多较小型模型，哪些模型系列（如 Llama 或 Mistral）最常用，以及您如何利用 LoRA 适配器等技术。
- 您的性能要求： 现实世界中对延迟和吞吐量的 SLO，以及您面临的最大 LLM 服务挑战——从成本优化到运维易用性。
- 您的未来需求： 如果为 LLM“模型即服务”（MaaS）增加一个新特性，您会优先考虑哪一个，以帮助指导我们的创新。
参与 5 分钟调查
您的参与至关重要。 请花几分钟时间完成调查。我们鼓励您将其分享给其他用户，或在回答中代理他们的需求，以确保我们的方向能反映社区的多样化要求。
全新 YouTube 频道
我们很高兴地宣布我们的全新 YouTube 频道上线了！我们一直在记录我们的 SIG 会议并制作教程内容，以帮助您开始使用 llm-d。
订阅我们的 YouTube
订阅以在发布新视频、演示稿、演示和 SIG 会议录像时获得通知：@llm-d-project
提醒：加入我们的 Google Group 以访问项目文档
加入我们的 Google Group
我们使用 Google Groups 来分享架构图、SIG 会议记录和其他重要的项目内容。要获得所有项目资源的完整访问权限，请加入：llm-d-contributors Google Group
Google Group 是见证奇迹发生的地方！在这里您可以找到：
- 详细的架构图和设计文档
- SIG 会议记录和录音
- 新功能和提案的早期访问权限
- 与核心团队和其他贡献者的直接交流
参与其中
有许多方式可以为 llm-d 做出贡献
- 加入 Google Group 以获取项目资源的完整访问权限
- 查看 项目公开日历 并参加即将举行的社区会议
- 订阅我们的 YouTube 频道 以获取教程和会议录像
- 填写 用例调查 来帮助我们制定基准测试
- 加入我们的 Slack 工作区 进行实时讨论
- 查阅我们的 贡献者指南 开始贡献代码
我们期待收到您的消息，并共同努力使 llm-d 变得更好！