轻量化工具是一款集模型压缩与网络结构搜索于一体的自动化工具,专为NPU架构设计,可对深度神经网络进行深度优化。它帮助开发者自动完成模型轻量化及网络结构生成。目前支持无训练模式、插件式量化模式以及网络结构搜索训练。
无训练量化:开发者可以直接输入模型,无需重训练,快速完成模型轻量化。适用于快捷方便量化的开发者使用。
插件式量化:为开发者提供模型量化API,在开发者训练工程中对浮点模型进行量化模型校准或量化模型重训练,易用性高,插件式重训练量化适用于较高精度要求的开发者。
网络结构搜索训练:支持分类网络、检测网络、分割网络三种网络类型。开发者配置相应的搜索参数和接口函数后,使用网络结构搜索工具进行搜索,在设定的算力约束下,得到优秀的网络模型。适用于需要自动生成网络结构的开发者。
| 模式 | 支持的框架 | 支持的策略 | 支持的设备 |
|---|---|---|---|
| 无训练量化 | TensorFlow、PyTorch | Quant_INT8-8 | 同时支持CPU和GPU模式,GPU支持单机单卡。 |
| 无训练量化 | ONNX | Quant_INT8-8、Quant_INT16-8 | 同时支持CPU和GPU模式,GPU支持单机单卡。 |
| 插件式量化 | TensorFlow | Quant_INT8-8 | 支持GPU,支持单机单卡。 |
| 插件式量化 | PyTorch | Quant_INT8-8、Quant_INT16-8 | 支持GPU,支持单机单卡。 |
| 网络结构搜索训练 | TensorFlow、PyTorch | NASEA | 支持GPU,支持单机单卡和单机多卡。 |
Quant_INT8-8:数据8bit量化,权重8bit量化。
Quant_INT16-8:数据16bit量化,权重8bit量化。
对于ONNX和PyTorch框架量化而言,权重量化粒度均统一为perchannel。Kirin9020前的历史平台无法支持Linear算子的perchannel量化,且不提供支持,可不对Linear进行量化来规避问题。
通过模型轻量化以及网络结构搜索获得模型在NPU上的收益可以参见模型收益。
经过轻量化工具小型化后的模型,可以使用ATC转换工具转为OM离线模型,使用方式可参见量化模型转换。
该轻量化工具位于"tools_dopt"目录下。
| 目录文件 | 描述说明 |
|---|---|
| tools_dopt/dopt_tf_py3 | TensorFlow框架无训练,插件式量化,网络结构搜索的工具入口以及demo。 |
| tools_dopt/dopt_pytorch_py3 | PyTorch框架无训练,插件式,网络结构搜索的工具入口以及demo。 |
| tools_dopt/dopt_onnx_py3 | ONNX框架无训练工具入口。 |
TensorFlow开发者使用本工具需同时满足下列环境要求:
PyTorch开发者使用本工具需同时满足下列环境要求:
ONNX开发者使用本工具需同时满足下列环境要求:
| 开发者场景 | 使用依赖 | 工具链提供功能 | 建议使用工具 | 优势 |
|---|---|---|---|---|
- 缺少足量数据集和训练资源 - 追求高易用性 | - 可运行TensorFlow环境 - 模型pb文件(需要开发者自行转换) - 校准集 | Quant_INT8-8 | TensorFlow无训练量化 | 无需TensorFlow编写代码,新手开发者友好 |
- 对精度要求较高 - 有足够数据集和训练资源 - 有一定编程能力 - 持有模型训练工程 | - 可运行TensorFlow环境 - 模型的ckpt文件 - 训练集 - 测试集 - 开发者需要在训练工程中调用轻量化工具API量化模型并进行重训练 | Quant_INT8-8 | TensorFlow插件式量化 | 模型精度可保障 |
| - 需要自动生成符合需求的网络结构 | - 环境准备 - 训练集 - 测试集 - 开发者需要根据说明书编写模型接口代码 | 搜索生成网络结构 | 网络结构搜索训练 | 可根据开发者提供的配置信息自动搜索到在特定场景上表现优秀的网络结构 |
| 开发者场景 | 使用依赖 | 工具链提供功能 | 建议使用工具 | 优势 |
|---|---|---|---|---|
- 缺少足量数据集和训练资源 - 追求高易用性 | - 可运行PyTorch环境 - 模型参数文件pth - python模型定义 - 校准集 | Quant_INT8-8 | PyTorch无训练量化 | 无需PyTorch编写代码,新手开发者友好 |
- 对精度要求较高 - 有足够数据集和训练资源 - 有一定编程能力 | - 可运行PyTorch环境 - 模型参数文件pth - 训练集 - 测试集 - 开发者需要调用轻量化工具API量化模型并进行重训练 | Quant_INT8-8、Quant_INT16-8 | PyTorch插件式量化 | 模型精度可保障 |
| - 需要自动生成符合需求的网络结构 | - 环境准备 - 训练集 - 测试集 - 开发者需要根据说明书编写模型接口代码 | 搜索生成网络结构 | 网络结构搜索训练 | 可根据开发者提供的配置信息自动搜索到在特定场景上表现优秀的网络结构 |
| 开发者场景 | 开发者需要准备 | 工具链提供功能 | 建议使用工具 | 优势 |
|---|---|---|---|---|
- 缺少足量数据集和训练资源 - 追求高易用性 | - 可运行ONNX Runtime环境 - ONNX model - 校准集 | Quant_INT8-8、Quant_INT16-8 | ONNX模型无训练量化 | 无需编写代码,新手开发者友好 |