KubeRay¶
KubeRay 提供了一种 Kubernetes 原生的方式，可以在 Ray 集群上运行 vLLM 工作负载。Ray 集群可以通过 YAML 进行声明，然后由运算符处理 Pod 调度、网络配置、重启和蓝绿部署——所有这些都保留了熟悉的 Kubernetes 体验。
为何选择 KubeRay 而非手动脚本？¶
| 功能 | 手动脚本 | KubeRay |
|---|---|---|
| 集群引导 | 手动 SSH 进入每个节点并运行脚本 | 一个命令创建或更新整个集群：kubectl apply -f cluster.yaml |
| 自动扩缩容 | 手动 | 自动修补 CRD 以调整集群大小 |
| 升级 | 手动拆除和重新创建 | 支持蓝绿部署更新 |
| 声明式配置 | Bash 标志和环境变量 | GitOps 友好的 YAML CRD (RayCluster/RayService) |
使用 KubeRay 可以降低运维负担，并简化 Ray + vLLM 与现有 Kubernetes 工作流（CI/CD、Secrets、Storage Classes 等）的集成。
了解更多¶
- "在 Kubernetes 上使用 Ray Serve LLM 部署大型语言模型" - 一个端到端的示例，展示如何使用 vLLM、KubeRay 和 Ray Serve 部署模型。
- KubeRay 文档