跳到内容

模型解析

vLLM 通过检查模型仓库 config.json 文件中的 architectures 字段，并查找已注册到 vLLM 的相应实现来加载 HuggingFace 兼容模型。尽管如此，我们的模型解析仍可能因以下原因而失败：

  • 模型仓库的 config.json 文件缺少 architectures 字段。
  • 非官方仓库使用 vLLM 未记录的替代名称引用模型。
  • 相同的架构名称用于多个模型，导致加载哪个模型存在歧义。

要解决此问题，请通过向 hf_overrides 选项传递 config.json 覆盖项来显式指定模型架构。例如：

from vllm import LLM

llm = LLM(
    model="cerebras/Cerebras-GPT-1.3B",
    hf_overrides={"architectures": ["GPT2LMHeadModel"]},  # GPT-2
)

我们 支持的模型列表 显示了 vLLM 识别的模型架构。