指南 欢迎来到 LLM Compressor 指南部分!在这里,您将找到涵盖 LLM Compressor 关键组件和概念的全面文档。这些指南将帮助您了解各种可用的压缩选项、如何有效应用它们以及如何部署优化后的模型以获得最佳性能。 主要指南 压缩方案 探索用于量化和剪枝的可用压缩方案,以确定哪种最适合您的用例。 压缩方案 保存模型 了解使用该库扩展的 save_pretrained 功能保存压缩模型的增强方法,以兼容 vLLM 部署。 保存模型