KServe

vLLM 可以通过 KServe 部署到 Kubernetes 上，以实现高度可扩展的分布式模型服务。

请参阅此指南，了解有关将 vLLM 与 KServe 结合使用的更多详细信息。