欢迎使用 vLLM Ascend 插件#
vLLM Ascend 插件
vLLM Ascend 插件 (vllm-ascend) 是一个社区维护的硬件插件，用于在 Ascend NPU 上运行 vLLM。
该插件是 vLLM 社区支持 Ascend 后端推荐的方法。它遵循 [RFC]: Hardware pluggable 中概述的原则，提供了一个硬件可插拔的接口，将 Ascend NPU 与 vLLM 的集成解耦。
通过使用 vLLM Ascend 插件，包括 Transformer 类、Mixture-of-Experts、Embedding、多模态 LLM 在内的流行开源模型可以在 Ascend NPU 上无缝运行。