跳到内容

指南

欢迎来到 LLM Compressor 指南部分!在这里,您将找到涵盖 LLM Compressor 关键组件和概念的全面文档。这些指南将帮助您了解各种可用的压缩选项、如何有效应用它们以及如何部署优化后的模型以获得最佳性能。

主要指南

  • 压缩方案


    探索用于量化和剪枝的可用压缩方案,以确定哪种最适合您的用例。

    压缩方案

  • 保存模型


    了解使用该库扩展的 save_pretrained 功能保存压缩模型的增强方法,以兼容 vLLM 部署。

    保存模型