llmaz

llmaz 是一个易于使用且先进的 Kubernetes 大模型推理平台，专为生产环境设计。它使用 vLLM 作为默认的模型服务后端。

更多详细信息请参阅快速入门。