NVIDIA Triton

Triton Inference Server 提供了一个教程，演示了如何使用 vLLM 快速部署一个简单的 facebook/opt-125m 模型。请参阅 Deploying a vLLM model in Triton 了解更多详情。