llmaz

llmaz 是一个易于使用且先进的大型语言模型在 Kubernetes 上的推理平台，旨在用于生产环境。它默认使用 vLLM 作为模型服务后端。

有关更多详细信息，请参阅 快速入门。