跳到内容

您正在查看最新的开发者预览版文档。点击此处查看最新稳定版的文档。

vLLM

摘要

正在初始化搜索

主页
用户指南
开发者指南
API 参考
CLI 参考
社区

vLLM

主页
用户指南
用户指南
- 用户指南
- vLLM V1
- 通用
  通用
- 推理与服务
  推理与服务
- 部署
  部署
- 训练
  训练
  - 人类反馈强化学习
  - Transformer 强化学习
- 配置
  配置
- 模型
  模型
- 功能
  功能
开发者指南
API 参考
CLI 参考
社区

配置选项¶

本节列出了运行 vLLM 最常用的选项。

共有三个主要的配置优先级级别，从高到低分别是：

请求参数和输入参数
引擎参数
环境变量

使用 Material for MkDocs 构建