llm-d 社区更新 - 2025年6月
·阅读时长 4 分钟
大家好！llm-d 项目取得了巨大进展，我想分享一些重要的更新以及参与其中的机会。
帮助塑造 llm-d 项目的未来
为了指导 llm-d 项目的未来发展，我们需要了解社区在现实世界中的挑战、配置和性能需求。我们创建了一份简短的调查问卷，以深入了解您如何提供大语言模型服务，从您使用的硬件到您最需要的特性。
这份 匿名、与供应商无关的调查大约需要 5 分钟完成。您的反馈将直接影响项目的路线图和优先级。汇总结果将分享到 llm-d-contributors 邮件列表，使整个社区受益。
您的反馈将定义我们的路线图
我们创建了 llm-d 社区路线图调查 来收集有关您的 LLM 工作负载的信息。我们希望了解：
- 您的服务环境： 包括您现在使用以及预计一年后使用的硬件（如 NVIDIA GPU、AMD GPU 或 CPU），以及您是在本地、云端还是边缘设备上运行。
- 您的模型策略： 您是提供少量大型模型还是许多较小型模型，哪些模型系列（如 Llama 或 Mistral）最常用，以及您如何利用 LoRA 适配器等技术。
- 您的性能要求： 现实世界中对延迟和吞吐量的 SLO，以及您面临的最大 LLM 服务挑战——从成本优化到运维易用性。
- 您的未来需求： 如果为 LLM“模型即服务”（MaaS）增加一个新特性，您会优先考虑哪一个，以帮助指导我们的创新。
参与 5 分钟调查
您的参与至关重要。 请花几分钟时间完成调查。我们鼓励您将其分享给其他用户，或在回答中代理他们的需求，以确保我们的方向能反映社区的多样化要求。