部署概述#
vLLM 生产栈提供了三种主要的部署选项，以适应不同的用例和基础设施要求。每个选项都提供独特的功能和优势。
部署选项#
- Helm Chart 部署
使用 Helm chart 进行 Kubernetes 的标准部署方法。这提供了一种精简的方式来部署 vLLM，并可配置模型、资源和路由逻辑的参数。
- 自定义资源定义 (CRD)
使用 Kubernetes CRD 进行部署，以获得更高级的配置和基于操作员的管理。此选项提供了更大的灵活性，并与 Kubernetes 原生工作流集成。
- 网关推理扩展
高级部署选项，通过网关基础设施实现推理能力，支持单个推理模型和具有复杂路由功能的推理池。
选择最适合您的基础设施要求和用例复杂性的部署选项。