llmaz

llmaz 是一个易于使用且先进的 Kubernetes 大型语言模型推理平台，旨在用于生产环境。它使用 vLLM 作为默认的模型服务后端。

请参考快速入门 了解更多详情。