跳到内容
LLM Compressor 文档
lifecycle
正在初始化搜索
GitHub
LLM Compressor 文档
GitHub
关于 LLM Compressor
入门指南
入门指南
安装
压缩您的模型
使用 vLLM 部署
常见问题
指南
指南
压缩格式
压缩方案
保存模型
示例
示例
AutoRound 量化
使用激活感知量化 (AWQ) 量化模型
使用顺序加载进行大模型处理
量化无模型定义的模型
量化多模态音频模型
量化多模态视觉-语言模型
2:4 稀疏模型的 int4 权重化
fp8 权重、激活和 KV 缓存量化
非均匀量化
int4 权重化
fp4 量化
fp8 权重和激活量化
int8 权重和激活量化
使用 FP8 量化 Mixtral-8x7B-Instruct-v0.1 模型
应用 2:4 稀疏性并可选 FP8 量化
应用变换以提高量化精度
开发者
开发者
行为准则
贡献指南
开发指南
观察器概述
API 参考
API 参考
llmcompressor
llmcompressor
logger
sentinel
args
args
dataset_arguments
model_arguments
recipe_arguments
utils
core
core
helpers
lifecycle
model_layer
session
session_functions
state
events
events
event
datasets
datasets
utils
entrypoints
entrypoints
oneshot
utils
model_free
model_free
helpers
lifecycle
microscale
model_utils
process
reindex_fused_weights
save_utils
validate
metrics
metrics
logger
utils
utils
frequency_manager
modeling
modeling
deepseek_v3
fuse
gpt_oss
granite4
llama4
moe_context
qwen3_moe
qwen3_next_moe
qwen3_vl_moe
modifiers
modifiers
factory
interface
modifier
autoround
autoround
base
awq
awq
base
mappings
experimental
experimental
logarithmic_equalization
logarithmic_equalization
base
obcq
obcq
sgpt_base
pruning
pruning
helpers
constant
constant
base
magnitude
magnitude
base
sparsegpt
sparsegpt
base
sgpt_base
sgpt_sparsify
utils
utils
pytorch
pytorch
layer_mask
mask_factory
wanda
wanda
base
wanda_sparsify
quantization
quantization
calibration
gptq
gptq
base
gptq_quantize
quantization
quantization
base
mixin
smoothquant
smoothquant
base
utils
transform
transform
quip
quip
base
spinquant
spinquant
base
mappings
norm_mappings
utils
utils
constants
helpers
hooks
pytorch_helpers
observers
observers
base
helpers
min_max
moving_base
mse
pipelines
pipelines
cache
registry
basic
basic
pipeline
data_free
data_free
pipeline
independent
independent
pipeline
sequential
sequential
ast_helpers
helpers
pipeline
transformers_helpers
ast_utils
ast_utils
auto_wrapper
control_flow_analyzer
name_analyzer
pytorch
pytorch
model_load
model_load
helpers
utils
utils
helpers
sparsification
sparsification_info
sparsification_info
configs
helpers
module_sparsification_info
recipe
recipe
metadata
recipe
utils
transformers
transformers
compression
compression
compressed_tensors_utils
helpers
sparsity_metadata_config
data
data
base
c4
cnn_dailymail
custom
data_helpers
evolcodealpaca
flickr_30k
gsm8k
open_platypus
peoples_speech
ultrachat_200k
wikitext
tracing
tracing
debug
utils
utils
helpers
preprocessing_functions
utils
utils
dev
helpers
metric_logging
transformers
fsdp
fsdp
context
helpers
pytorch
pytorch
module
utils
关于 LLM Compressor
API 参考
llmcompressor
entrypoints
model_free
llmcompressor.entrypoints.model_free.lifecycle
回到顶部