跳到内容

llmcompressor.core.model_layer

用于 LLM 压缩工作流的模型层实用工具类。

提供数据类容器,用于在压缩操作期间管理模型层及其相关参数。便于跟踪和操作特定的模型组件及其参数。

ModelParameterizedLayer dataclass

ModelParameterizedLayer(
    layer_name: str, layer: Any, param_name: str, param: Any
)

用于存储参数及其所属层的 dataclass

参数

  • layer_name

    (str) –

    层的名称

  • layer

    (Any) –

    层对象

  • param_name

    (str) –

    参数的名称

  • param

    (Any) –

    参数对象