KubeAI

KubeAI 是一个 Kubernetes Operator，让您能够在 Kubernetes 上部署和管理 AI 模型。它提供了一种在生产环境中部署 vLLM 的简单且可扩展的方法。诸如从零扩展（scale-from-zero）、基于负载的自动伸缩、模型缓存等功能均可开箱即用，且无需任何外部依赖。

请参阅“安装指南”以获取针对特定环境的说明

• 任何 Kubernetes 集群
• AKS
• EKS
• GKE

安装 KubeAI 后，您可以使用 vLLM 配置文本生成模型。