欢迎来到 production-stack！

vLLM 的 K8S 原生集群级部署。

Star Watch Fork

vLLM Production Stack 项目提供了一个参考实现，展示了如何在 vLLM 之上构建推理堆栈，使您能够

• 🚀 无需更改任何应用程序代码，即可从单个 vLLM 实例扩展到分布式 vLLM 部署

• 💻 通过 Web 仪表板监控指标

• 😄 享受请求路由和 KV 缓存卸载带来的性能优势

• 📈 轻松将堆栈部署在 AWS、GCP 或任何其他云提供商上

文档

入门指南

• 先决条件
  • 目录
  • 先决条件
  • 步骤
  • 结论
• 快速入门
  • 目录
  • 先决条件
  • 步骤
• 常见问题解答
  • 安装与设置
  • 部署与配置
  • 性能与优化
  • 故障排除

部署

• 部署概述
  • 部署选项

用例

• KV 缓存感知路由
  • 目录
  • 先决条件
  • 第 1 步：使用 KV 缓存感知路由进行部署
  • 第 2 步：端口转发
  • 第 3 步：测试 KV 缓存感知路由
  • 第 4 步：清理
  • 结论
• 前缀感知路由
  • 目录
  • 先决条件
  • 第 1 步：使用前缀感知路由进行部署
  • 第 2 步：端口转发
  • 第 3 步：测试前缀感知路由
  • 第 4 步：清理
  • 结论
• 解耦预填充
  • 先决条件
  • Kubernetes 部署
• 跨实例共享 KV 缓存
  • 目录
  • 先决条件
  • 第 1 步：配置远程 KV 缓存存储
  • 第 2 步：部署 Helm Chart
  • 第 3 步：验证安装
  • 远程共享存储的性能增益基准测试（进行中）
  • 结论
• 基准测试
• 分布式追踪
  • 目录
  • 先决条件
  • 第 1 步：准备 Jaeger 配置文件
  • 第 2 步：准备 OpenTelemetry Collector 文件
  • 第 3 步：配置模型和监控
  • 结论
• 工具辅助安装
  • 先决条件
  • 步骤
• 使用 KubeRay 实现流水线并行
  • 目录
  • 先决条件
  • 第 1 步：Ray 和 Kuberay 的基本解释
  • 第 2 步：准备配置文件
  • 第 3 步：应用配置
  • 第 4 步：验证部署
  • 结论
• 休眠与唤醒模式
  • 目录
  • 先决条件
  • 第 1 步：启用休眠模式进行部署
  • 第 2 步：端口转发
  • 第 3 步：测试引擎的休眠模式功能
  • 第 4 步：清理
  • 结论
• 使用 KEDA 进行自动扩缩
  • 目录
  • 先决条件
  • 步骤
  • 其他资源
• 智能语义路由
  • 什么是 vLLM 语义路由器？
  • 集成的好处
  • 目录
  • 先决条件
  • 第 1 步：部署 vLLM Production Stack
  • 第 2 步：部署 vLLM 语义路由器
  • 第 3 步：测试部署
  • 故障排除
  • 结论

开发者指南

• 贡献
  • 提交提案
  • 发起一个 Pull Request
  • 代码质量和验证
  • 添加示例和测试
  • DCO 和 Signed-off-by
  • 对审查的期望
• Docker 指南
  • 构建 Docker 镜像

社区

• 社区会议
  • 社区活动