功能指南# 本节提供了 vLLM Ascend 功能的详细使用指南。 功能指南 图模式指南 量化指南 llm-compressor 量化指南 休眠模式指南 结构化输出指南 LoRA 适配器指南 专家负载均衡 (EPLB) Netloader 指南 动态批处理 昇腾应用商店部署指南 外部 DP Distributed DP Server With Large Scale Expert Parallelism UCM-Enhanced Prefix Caching Deployment Guide Fine-Grained Tensor Parallelism (Finegrained TP) Speculative Decoding Guide
