入门指南

欢迎使用 LLM Compressor！本节将指导您完成安装库、压缩第一个模型以及使用 vLLM 进行部署以实现更快、更高效的推理过程。

LLM Compressor 可以轻松地优化大型语言模型以进行部署，提供各种量化技术，帮助您在模型质量、性能和资源效率之间找到完美的平衡。

快速入门指南

请按照以下指南开始使用 LLM Compressor，并优化您的模型以进行生产部署。

• 安装

  ---

  了解如何使用 pip 或从源代码安装 LLM Compressor。

  安装指南

• 压缩模型

  ---

  了解如何使用不同的算法和格式对模型应用量化。

  压缩指南

• 使用 vLLM 进行部署

  ---

  使用 vLLM 部署您的压缩模型以实现高效推理。

  部署指南

• 常见问题解答

  ---

  查看 LLM Compressor 最常被问到的问题。

  常见问题解答