配置选项

本节列出了运行 vLLM-Omni 最常见的选项。

有关 vLLM Engine 内的选项，请参阅 vLLM 配置

目前，主要选项通过每个模型的阶段配置进行维护。

有关具体示例，请参阅 Qwen2.5-omni 阶段配置

有关介绍，请查看 阶段配置简介

内存配置

• GPU 内存计算与配置 - 关于如何计算内存需求和设置 gpu_memory_utilization 以获得最佳性能的指南

优化功能

• TeaCache 配置 - 为 DiT 模型启用 TeaCache 自适应缓存，以实现 1.5 倍至 2.0 倍的加速，同时最大限度地降低质量损失
• Cache-DiT 配置 - 为 DiT 模型启用 Cache-DiT 作为缓存加速后端
• 并行配置 - 为 DiT 模型启用并行（例如，序列并行）