LWS

LeaderWorkerSet (LWS) 是一个 Kubernetes API，旨在解决 AI/ML 推理工作负载的常见部署模式。一个主要的用例是用于多主机/多节点分布式推理。

vLLM 可以通过 Kubernetes 上的 LWS 进行部署，以实现分布式模型服务。

请参阅本指南，了解有关使用 LWS 在 Kubernetes 上部署 vLLM 的更多详细信息。