KServe

vLLM 可以部署在 Kubernetes 上的 KServe 中，以实现高度可扩展的分布式模型服务。

有关将 vLLM 与 KServe 结合使用的更多详细信息，请参阅 本指南。