添加新模型 本节提供更多关于如何将 PyTorch 模型集成到 vLLM 的信息。 目录 基础 注册 测试 多模态 注意 添加新模型的复杂性很大程度上取决于模型的架构。如果模型与 vLLM 中现有模型的架构相似,这个过程会相当简单。然而,对于包含新算子(例如,新的注意力机制)的模型,这个过程可能会更复杂一些。 提示 如果您在将模型集成到 vLLM 时遇到问题,请随时在 GitHub 上提交问题或在我们的 开发者 Slack 上提问。我们很乐意为您提供帮助!