llmaz

llmaz 是一个易于使用且先进的 Kubernetes 大语言模型推理平台，旨在用于生产环境。它使用 vLLM 作为默认的模型服务后端。

更多详细信息，请参阅 快速入门。