跳到内容

KubeAI

KubeAI 是一个 Kubernetes 操作符,使您能够在 Kubernetes 上部署和管理 AI 模型。它提供了一种简单且可扩展的方式来在生产环境中部署 vLLM。零外部依赖即可开箱即用地提供从零扩展、基于负载的自动伸缩、模型缓存等功能。

请参阅安装指南以获取特定环境的说明

安装 KubeAI 后,您可以使用 vLLM配置文本生成模型