目录

CNN结构量化概述

简介

轻量化工具是一款集模型压缩与网络结构搜索于一体的自动化工具,专为NPU架构设计,可对深度神经网络进行深度优化。它帮助开发者自动完成模型轻量化及网络结构生成。目前支持无训练模式、插件式量化模式以及网络结构搜索训练。

模式 支持的框架 支持的策略 支持的设备
无训练量化 TensorFlow、PyTorch Quant_INT8-8 同时支持CPU和GPU模式,GPU支持单机单卡。
无训练量化 ONNX Quant_INT8-8、Quant_INT16-8 同时支持CPU和GPU模式,GPU支持单机单卡。
插件式量化 TensorFlow Quant_INT8-8 支持GPU,支持单机单卡。
插件式量化 PyTorch Quant_INT8-8、Quant_INT16-8 支持GPU,支持单机单卡。
网络结构搜索训练 TensorFlow、PyTorch NASEA 支持GPU,支持单机单卡和单机多卡。

Quant_INT8-8:数据8bit量化,权重8bit量化。

Quant_INT16-8:数据16bit量化,权重8bit量化。

对于ONNX和PyTorch框架量化而言,权重量化粒度均统一为perchannel。Kirin9020前的历史平台无法支持Linear算子的perchannel量化,且不提供支持,可不对Linear进行量化来规避问题。

通过模型轻量化以及网络结构搜索获得模型在NPU上的收益可以参见模型收益。

经过轻量化工具小型化后的模型,可以使用ATC转换工具转为OM离线模型,使用方式可参见量化模型转换。

该轻量化工具位于"tools_dopt"目录下。

目录文件 描述说明
tools_dopt/dopt_tf_py3 TensorFlow框架无训练,插件式量化,网络结构搜索的工具入口以及demo。
tools_dopt/dopt_pytorch_py3 PyTorch框架无训练,插件式,网络结构搜索的工具入口以及demo。
tools_dopt/dopt_onnx_py3 ONNX框架无训练工具入口。

支持范围

系统要求

开发者指引

下面列举了不同开发者场景对应的步骤和工具链功能。开发者可以根据下表中列举的不同场景选择适宜的优化方式。

[h2]TensorFlow开发者

开发者场景 使用依赖 工具链提供功能 建议使用工具 优势

- 缺少足量数据集和训练资源

- 追求高易用性

- 可运行TensorFlow环境

- 模型pb文件(需要开发者自行转换)

- 校准集

Quant_INT8-8 TensorFlow无训练量化 无需TensorFlow编写代码,新手开发者友好

- 对精度要求较高

- 有足够数据集和训练资源

- 有一定编程能力

- 持有模型训练工程

- 可运行TensorFlow环境

- 模型的ckpt文件

- 训练集

- 测试集

- 开发者需要在训练工程中调用轻量化工具API量化模型并进行重训练

Quant_INT8-8 TensorFlow插件式量化 模型精度可保障
- 需要自动生成符合需求的网络结构

- 环境准备

- 训练集

- 测试集

- 开发者需要根据说明书编写模型接口代码

搜索生成网络结构 网络结构搜索训练 可根据开发者提供的配置信息自动搜索到在特定场景上表现优秀的网络结构

[h2]PyTorch开发者

开发者场景 使用依赖 工具链提供功能 建议使用工具 优势

- 缺少足量数据集和训练资源

- 追求高易用性

- 可运行PyTorch环境

- 模型参数文件pth

- python模型定义

- 校准集

Quant_INT8-8 PyTorch无训练量化 无需PyTorch编写代码,新手开发者友好

- 对精度要求较高

- 有足够数据集和训练资源

- 有一定编程能力

- 可运行PyTorch环境

- 模型参数文件pth

- 训练集

- 测试集

- 开发者需要调用轻量化工具API量化模型并进行重训练

Quant_INT8-8、Quant_INT16-8 PyTorch插件式量化 模型精度可保障
- 需要自动生成符合需求的网络结构

- 环境准备

- 训练集

- 测试集

- 开发者需要根据说明书编写模型接口代码

搜索生成网络结构 网络结构搜索训练 可根据开发者提供的配置信息自动搜索到在特定场景上表现优秀的网络结构

[h2]ONNX开发者

开发者场景 开发者需要准备 工具链提供功能 建议使用工具 优势

- 缺少足量数据集和训练资源

- 追求高易用性

- 可运行ONNX Runtime环境

- ONNX model

- 校准集

Quant_INT8-8、Quant_INT16-8 ONNX模型无训练量化 无需编写代码,新手开发者友好