KubeRay

KubeRay 提供了一种 Kubernetes 原生方式，可在 Ray 集群上运行 vLLM 工作负载。Ray 集群可在 YAML 中声明，然后由操作员处理 Pod 调度、网络配置、重启和蓝绿部署——所有这些都同时保留了熟悉的 Kubernetes 体验。

为什么要用 KubeRay 而不是手动脚本？

功能	手动脚本	KubeRay
集群引导	手动 SSH 到每个节点并运行脚本	一个命令即可创建或更新整个集群：kubectl apply -f cluster.yaml
自动扩缩容	手动	自动修补 CRD 以调整集群大小
升级	手动拆除并重新创建	支持蓝绿部署更新
声明式配置	Bash 标志和环境变量	GitOps 友好型 YAML CRD（RayCluster/RayService）

使用 KubeRay 减少了操作负担，并简化了 Ray + vLLM 与现有 Kubernetes 工作流（CI/CD、秘密、存储类等）的集成。

了解更多

• "使用 Ray Serve LLM 在 Kubernetes 上提供大型语言模型" - 一个关于如何使用 vLLM、KubeRay 和 Ray Serve 来提供模型的端到端示例。
• KubeRay 文档