LLM 输入

LLM 输入#

vllm.inputs.PromptType[source]#

alias of Union[str, TextPrompt, TokensPrompt, ExplicitEncoderDecoderPrompt] 的别名

class vllm.inputs.TextPrompt[source]#

Bases: TypedDict

文本提示的模式。

prompt: str[source]#

在传递给模型之前要进行分词的输入文本。

multi_modal_data: NotRequired[MultiModalDataDict][source]#

可选的多模态数据，如果模型支持，则传递给模型。

mm_processor_kwargs: NotRequired[Dict[str, Any]][source]#

可选的多模态处理器 kwargs，用于转发到多模态输入映射器和处理器。请注意，如果多个模态为正在考虑的模型注册了映射器等，我们会尝试将 mm_processor_kwargs 传递给它们中的每一个。

class vllm.inputs.TokensPrompt[source]#

Bases: TypedDict

分词提示的模式。

prompt_token_ids: List[int][source]#

要传递给模型的 token ID 列表。

token_type_ids: NotRequired[List[int]][source]#

要传递给交叉编码器模型的 token 类型 ID 列表。

multi_modal_data: NotRequired[MultiModalDataDict][source]#

可选的多模态数据，如果模型支持，则传递给模型。

mm_processor_kwargs: NotRequired[Dict[str, Any]][source]#

可选的多模态处理器 kwargs，用于转发到多模态输入映射器和处理器。请注意，如果多个模态为正在考虑的模型注册了映射器等，我们会尝试将 mm_processor_kwargs 传递给它们中的每一个。