KAITO¶

KAITO 是一个 Kubernetes Operator，支持使用 vLLM 部署和提供 LLM。它提供通过内置 OpenAI 兼容推理的容器镜像管理大型模型，自动配置 GPU 节点和精选的模型预设。