跳到内容

llmcompressor.args.model_arguments

LLM 压缩工作流的模型参数类。

此模块定义了基于 dataclass 的参数容器,用于配置模型加载、标记化和预处理参数。支持多种模型来源,包括 HuggingFace 模型中心、本地路径以及用于压缩工作流的自定义配置。

ModelArguments dataclass

ModelArguments(
    model: str,
    config_name: str | None = None,
    tokenizer: str | None = None,
    processor: str | None = None,
    use_auth_token: bool = False,
    precision: str = "auto",
    tie_word_embeddings: bool = True,
    trust_remote_code_model: bool = False,
    save_compressed: bool | None = True,
    model_revision: str = "main",
)

用于一次性校准、微调和阶段运行器(一次性和微调的顺序运行)的模型变量。