引擎参数

引擎参数控制 vLLM 引擎的行为。

• 对于离线推理，它们是LLM类参数的一部分。
• 对于在线服务，它们是vllm serve参数的一部分。

您可以查看EngineArgs和AsyncEngineArgs以了解可用的引擎参数。

然而，这些类是vllm.config中定义的配置类的组合。因此，我们建议您在那里阅读有关它们的信息，因为那里有最详细的文档。

对于离线推理，您可以访问这些配置类；对于在线服务，您可以将配置与vllm serve --help进行交叉引用，后者按配置对参数进行分组。

注意

为用于在线服务的AsyncLLMEngine提供了额外的参数。可以通过运行vllm serve --help来找到这些参数