跳到内容

Anyscale

Anyscale 是由 Ray 的创建者开发的托管式多云平台。

Anyscale 可在您的 AWS、GCP 或 Azure 账户中自动完成 Ray 集群的整个生命周期管理,提供开源 Ray 的灵活性,同时避免了维护 Kubernetes 控制平面、配置自动伸缩器、管理可观测性堆栈,或使用辅助脚本(如 examples/online_serving/run_cluster.sh)手动管理头节点和工作节点所带来的操作负担。

使用 vLLM 提供大型语言模型服务时,Anyscale 可以快速部署生产就绪的 HTTPS 端点容错的批量推理作业

Anyscale 上可用于生产环境的 vLLM 快速入门