添加新模型

本节提供更多关于如何将 PyTorch 模型集成到 vLLM 的信息。

目录

注意

添加新模型的复杂性很大程度上取决于模型的架构。如果模型与 vLLM 中现有模型的架构相似,这个过程会相当简单。然而,对于包含新算子(例如,新的注意力机制)的模型,这个过程可能会更复杂一些。

提示

如果您在将模型集成到 vLLM 时遇到问题,请随时在 GitHub 上提交问题或在我们的 开发者 Slack 上提问。我们很乐意为您提供帮助!