跳到内容

您正在查看最新的开发者预览文档。点击此处查看最新稳定版本的文档。

vLLM

摘要

正在初始化搜索

主页
用户指南
开发者指南
API 参考
CLI 参考
社区

vLLM

主页
用户指南
用户指南
- 用户指南
- vLLM V1
- 通用
  通用
- 推理与服务
  推理与服务
- 部署
  部署
- 训练
  训练
  - 基于人类反馈的强化学习
  - Transformers 强化学习
- 配置
  配置
- 模型
  模型
- 特性
  特性
开发者指南
API 参考
CLI 参考
社区

配置选项¶

本节列出了运行 vLLM 的最常用选项。

配置主要有三个层级，优先级从高到低依次为

请求参数和输入参数
引擎参数
环境变量

使用 Material for MkDocs 制作