模型适配器

模块内容

vllm.model_executor.models.adapters.as_embedding_model(cls: _T) → _T

子类化现有的 vLLM 模型以支持嵌入。

默认情况下，整个提示的嵌入是从对应于最后一个 token 的归一化隐藏状态中提取的。

注意

我们假设没有额外的层添加到原始模型；如果不是这种情况，请实现您自己的模型。

vllm.model_executor.models.adapters.as_classification_model(cls: _T) → _T

子类化现有的 vLLM 模型以支持分类。

默认情况下，类概率是从对应于最后一个 token 的 softmax 隐藏状态中提取的。

注意

我们假设分类头是存储为顶层模型的 score 属性的单个线性层；如果不是这种情况，请实现您自己的模型。

vllm.model_executor.models.adapters.as_reward_model(cls: _T) → _T

子类化现有的 vLLM 模型以支持奖励建模。

默认情况下，我们直接返回每个 token 的隐藏状态。

注意

我们假设没有额外的层添加到原始模型；如果不是这种情况，请实现您自己的模型。