安装

LLM Compressor 可以根据您的需求通过多种方法进行安装。以下是每种安装路径的详细说明。

先决条件

在安装 LLM Compressor 之前，请确保您已满足以下先决条件

• 操作系统： Linux (推荐用于 GPU 支持)
• Python 版本： 3.10 或更高版本
• Pip 版本： 确保您已安装最新版本的 pip。您可以使用以下命令升级 pip

python -m pip install --upgrade pip

安装方法

从 PyPI 安装

安装 LLM Compressor 的最简单方法是通过 Python 包索引 (PyPI) 使用 pip 进行安装。

pip install llmcompressor

这将安装 LLM Compressor 的最新稳定版本。

从 PyPI 安装特定版本

如果您需要特定版本的 LLM Compressor，可以在安装过程中指定版本号。

pip install llmcompressor==0.5.1

将 0.5.1 替换为您所需的版本号。

从源代码安装

要从主分支安装 LLM Compressor 的最新开发版本，请使用以下命令。

pip install git+https://github.com/vllm-project/llm-compressor.git

这将克隆存储库并直接从主分支安装 LLM Compressor。

从本地克隆安装

如果您已在本地克隆了 LLM Compressor 存储库并希望安装它，请导航到存储库目录并运行。

pip install .

为了开发目的，您可以使用 dev 额外项以可编辑模式进行安装。

pip install -e .[dev]

这允许您修改源代码，并且更改无需重新安装即可立即生效。