KubeAI

KubeAI 是一个 Kubernetes 运算符，使您能够在 Kubernetes 上部署和管理 AI 模型。它提供了一种简单且可扩展的方式来在生产环境中部署 vLLM。诸如从零扩展、基于负载的自动缩放、模型缓存等功能开箱即用，且零外部依赖。

请参阅安装指南以获取特定于环境的说明

• 任何 Kubernetes 集群

• EKS

• GKE

安装 KubeAI 后，您可以使用 vLLM 配置文本生成模型。