KAITO

KAITO 是一个 Kubernetes Operator，支持使用 vLLM 部署和提供大语言模型（LLM）服务。它通过内置兼容 OpenAI 的推理功能的容器镜像来管理大型模型，并提供自动配置 GPU 节点和精选模型预设的功能。

请参阅快速入门以获取更多详细信息。