KubeRay¶
KubeRay 提供了一种 Kubernetes 原生方式来在 Ray 集群上运行 vLLM 工作负载。Ray 集群可以通过 YAML 进行声明，操作员（Operator）随后负责处理 Pod 调度、网络配置、重启和蓝绿部署——所有这些操作都保持了熟悉的 Kubernetes 体验。
为什么要选择 KubeRay 而不是手动脚本？¶
| 功能 | 手动脚本 | KubeRay |
|---|---|---|
| 集群引导 | 手动 SSH 到每个节点并运行脚本 | 使用一条命令创建或更新整个集群：kubectl apply -f cluster.yaml |
| 自动扩缩容 | 手动 | 自动修补 CRD 以调整集群大小 |
| 升级 | 手动拆除并重新创建 | 支持蓝/绿部署更新 |
| 声明式配置 | Bash 标志位 & 环境变量 | GitOps 友好的 YAML CRD (RayCluster/RayService) |
使用 KubeRay 可以减少运维负担，并简化 Ray + vLLM 与现有 Kubernetes 工作流（CI/CD、密钥、存储类等）的集成。
了解更多¶
- “在 Kubernetes 上使用 Ray Serve LLM 服务大语言模型” - 一个端到端的示例，展示了如何使用 vLLM、KubeRay 和 Ray Serve 来部署模型服务。
- KubeRay 文档