llmaz

llmaz 是一个易于使用且先进的推理平台，用于在 Kubernetes 上部署大型语言模型，旨在用于生产环境。它使用 vLLM 作为默认的模型服务后端。

请参考快速开始了解更多详情。