量化工具采用标准的两段式执行流程:权重量化、激活量化。对于激活张量支持静态s16量化以及动态s8量化,动态量化在权重量化完成后即可完成,推荐使用动态量化;静态量化需完成两段式全流程。所有阶段均需在GPU(CUDA)或NPU环境下运行,支持单机单卡。
运行前请先按环境准备完成量化工程搭建(config.yaml与run.sh配置)。
执行命令sh run.sh stage1,生成dopt_config.json配置文件。
根据模型层类型,修改dopt_config.json文件内的quant_strategy值,配置量化策略。
推荐配置样例:(dopt_config.json) 。
{
"layer_strategy":{
"model.embed_tokens": {
"type": "<class 'torch.nn.modules.sparse.Embedding'>",
"quant_strategy": "Quant_Embed_MinMax",
},
"model.layers.0.self_attn.q_proj": {
"type": "<class 'torch.nn.modules.linear.Linear'>",
"quant_strategy": "Quant_INT8-4_ECO",
},
"lm_head": {
"type": "<class 'torch.nn.modules.linear.Linear'>",
"quant_strategy": "Quant_INT8-4_ECO",
}
}
} 再次执行sh run.sh stage1,即可进行权重量化。
出现“weight quant done!!!”日志,在量化工程内生成trained_quant_weight.pth文件。动态量化得到此输出即可。
如需将激活修改为静态量化、调整权重量化位宽(bit)与分组大小(group_size)等高阶配置,请在dopt_config.json中逐层补充对应字段,配置说明参见dopt_config.json量化配置文件说明,静态量化建议激活bit为16。
仅静态量化时需要本阶段,动态量化无需执行。
执行命令:sh run.sh stage2,如果日志输出“quant done!!!”,则说明成功生成量化文件trained.pth。