Modal

vLLM 可以运行在 Modal 提供的云 GPU 上。Modal 是一个专为快速自动扩缩容而设计的无服务器计算平台。

有关如何在 Modal 上部署 vLLM 的详细信息，请参阅 Modal 文档中的本教程。