支持的模型¶
vLLM-Omni 支持跨各种任务的统一多模态理解和生成模型。
模型实现¶
如果 vLLM-Omni 原生支持某个模型，其实现可在 vllm_omni/model_executor/models 和 vllm_omni/diffusion/models 中找到。
Nvidia GPU / AMD GPU 支持的模型列表¶
| 架构 | 模型 | 示例 HF 模型 |
|---|---|---|
Qwen3OmniMoeForConditionalGeneration | Qwen3-Omni | Qwen/Qwen3-Omni-30B-A3B-Instruct |
Qwen2_5OmniForConditionalGeneration | Qwen2.5-Omni | Qwen/Qwen2.5-Omni-7B, Qwen/Qwen2.5-Omni-3B |
QwenImagePipeline | Qwen-Image | Qwen/Qwen-Image |
QwenImageEditPipeline | Qwen-Image-Edit | Qwen/Qwen-Image-Edit |
QwenImageEditPlusPipeline | Qwen-Image-Edit-2509 | Qwen/Qwen-Image-Edit-2509 |
QwenImageLayeredPipeline | Qwen-Image-Layered | Qwen/Qwen-Image-Layered |
ZImagePipeline | Z-Image | Tongyi-MAI/Z-Image-Turbo |
WanPipeline | Wan2.2 | Wan-AI/Wan2.2-T2V-A14B-Diffusers |
OvisImagePipeline | Ovis-Image | OvisAI/Ovis-Image |
LongcatImagePipeline | LongCat-Image | meituan-longcat/LongCat-Image |
NPU 支持的模型列表¶
| 架构 | 模型 | 示例 HF 模型 |
|---|---|---|
Qwen2_5OmniForConditionalGeneration | Qwen2.5-Omni | Qwen/Qwen2.5-Omni-7B, Qwen/Qwen2.5-Omni-3B |
QwenImagePipeline | Qwen-Image | Qwen/Qwen-Image |