跳到内容

Anyscale

Anyscale 是由 Ray 的开发者构建的一个托管式多云平台。

Anyscale 可为您 AWS、GCP 或 Azure 账户中的 Ray 集群实现全生命周期自动化管理,提供开源 Ray 的灵活性,同时无需承担繁重的运维工作,例如:维护 Kubernetes 控制平面、配置自动扩缩容、管理可观测性堆栈,或使用如 examples/online_serving/run_cluster.sh 等辅助脚本手动管理头节点和工作节点。

当使用 vLLM 提供大语言模型服务时,Anyscale 可以快速配置生产就绪的 HTTPS 端点容错批处理推理作业

在 Anyscale 上部署生产级 vLLM 快速入门