目录

两段式量化步骤

量化工具采用标准的两段式执行流程:权重量化、激活量化。对于激活张量支持静态s16量化以及动态s8量化,动态量化在权重量化完成后即可完成,推荐使用动态量化;静态量化需完成两段式全流程。所有阶段均需在GPU(CUDA)或NPU环境下运行,支持单机单卡。

运行前请先按环境准备完成量化工程搭建(config.yaml与run.sh配置)。

阶段一:权重量化(stage1)

  1. 执行命令sh run.sh stage1,生成dopt_config.json配置文件。

    • 首次执行命令,会出现generate plugin quang config please set quant strategy firstly代表执行成功。此时工程会遍历模型的所有linear算子,在量化工程内会生成dopt_config.json文件。
  2. 根据模型层类型,修改dopt_config.json文件内的quant_strategy值,配置量化策略。

    • decoder层策略:Quant_INT8-4_ECO
    • lm_head层策略:Quant_INT8-4_ECO
    • embedding层策略:Quant_Embed_MinMax

    推荐配置样例:(dopt_config.json) 。

    {
        "layer_strategy":{
            "model.embed_tokens": {
                "type": "<class 'torch.nn.modules.sparse.Embedding'>",
                "quant_strategy": "Quant_Embed_MinMax",
            },
            "model.layers.0.self_attn.q_proj": {
                "type": "<class 'torch.nn.modules.linear.Linear'>",
                "quant_strategy": "Quant_INT8-4_ECO",
            },
            "lm_head": {
                "type": "<class 'torch.nn.modules.linear.Linear'>",
                "quant_strategy": "Quant_INT8-4_ECO",
            }
        }
    }
  3. 再次执行sh run.sh stage1,即可进行权重量化。

阶段二:激活量化(stage2)

仅静态量化时需要本阶段,动态量化无需执行。

执行命令:sh run.sh stage2,如果日志输出“quant done!!!”,则说明成功生成量化文件trained.pth。

量化参数提取与ONNX模型导出

量化完成后,可通过量化模型导出流程完成量化参数提取与ONNX模型(量化IR)导出,供OMC/OMG离线模型编译使用,具体操作参见量化模型导出。