llmaz

llmaz 是一个易于使用且先进的 Kubernetes 大语言模型推理平台，专为生产环境设计。它使用 vLLM 作为默认的模型服务后端。

请参阅快速入门了解更多详情。