以下接口为AIPP参数设置接口,如要使用更丰富的设置和查询接口,请参见API参考。
表1 CANN Kit模型推理AIPP设置相关接口功能介绍
| 接口名 | 描述 |
|---|---|
| HiAI_AippParam* HMS_HiAIAippParam_Create(uint32_t batchNum); | 动态AIPP配置实例创建。 |
| void HMS_HiAIAippParam_Destroy(HiAI_AippParam** aippParam); | 动态AIPP配置实例销毁。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetInputIndex(HiAI_AippParam* aippParam, uint32_t inputIndex); | 设置动态AIPP配置作用于输入上的索引。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetInputAippIndex(HiAI_AippParam* aippParam, uint32_t inputAippIndex); | 设置动态AIPP配置作用于该输入的多个输出分支上的索引。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetInputFormat(HiAI_AippParam* aippParam, HiAI_ImageFormat inputFormat); | 设置输入图片的格式。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetInputShape(HiAI_AippParam* aippParam, uint32_t srcImageW, uint32_t srcImageH); | 设置输入图片的原始宽高。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetCscConfig(HiAI_AippParam* aippParam, HiAI_ImageFormat inputFormat, HiAI_ImageFormat outputFormat, HiAI_ImageColorSpace space); | 设置图片色域转换参数。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetChannelSwapConfig(HiAI_AippParam* aippParam, bool rbuvSwapSwitch, bool axSwapSwitch); | 设置图片通道交换参数。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetCropConfig(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t startPosW, uint32_t startPosH, uint32_t croppedW, uint32_t croppedH); | 设置图片裁剪参数。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetResizeConfig(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t resizedW, uint32_t resizedH); | 设置图片缩放大小参数。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetPadConfig(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t leftPadSize, uint32_t rightPadSize, uint32_t topPadSize, uint32_t bottomPadSize); | 设置图片左右上下填充的像素数。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetChannelPadding(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t paddingValues[], uint32_t channelCount); | 设置通道填充值。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetRotationAngle(HiAI_AippParam* aippParam, uint32_t batchIndex, float rotationAngle); | 设置图片旋转参数。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetDtcMeanPixel(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t meanPixel[], uint32_t channelCount); | 设置图片数据类型转换的通道像素平均值。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetDtcMinPixel(HiAI_AippParam* aippParam, uint32_t batchIndex, float minPixel[], uint32_t channelCount); | 设置图片数据类型转换的通道像素最小值。 |
| OH_NN_ReturnCode HMS_HiAIAippParam_SetDtcVarReciPixel(HiAI_AippParam* aippParam, uint32_t batchIndex, float varReciPixel[], uint32_t channelCount); | 设置图片数据类型转换的通道像素方差。 |
| OH_NN_ReturnCode HMS_HiAITensor_SetAippParams(NN_Tensor* tensor, HiAI_AippParam* aippParams[], size_t aippNum); | 给输入Tensor设置AIPP参数。 |
调用HMS_HiAIAippParam_Create创建动态AIPP配置实例。
设置与计算图关联的配置。
设置动态AIPP输入图片相关配置。
开发者按需设置以下动态AIPP功能参数。
将AIPP配置设置到NN_Tensor。
通过构造输入输出Tensor后,调用HMS_HiAITensor_SetAippParams给输入Tensor设置AIPP参数。
执行模型推理。
调用HMS_HiAIAippParam_Destroy销毁动态AIPP配置实例。
当前有一个超分模型,采用的输入数据为RGB888的图片数据,使能了动态AIPP之后,根据输入图片数据设置长度和宽度,并对输入数据做归一化操作处理。
constexpr uint32_t BATCH_NUM = 1;
// 创建一个batch数为1的动态aipp配置实例
aippPara_ = HMS_HiAIAippParam_Create(BATCH_NUM);
// 在多个输入情况下,设置索引以确定该AippParam对象作用于第几个输入
uint32_t inputIndex = 0;
OH_NN_ReturnCode ret = HMS_HiAIAippParam_SetInputIndex(aippPara_, inputIndex);
// 在data有多个输出分支时,设置AippParam对象作用域该输入的第几个输出分支
uint32_t validInputAippIndex = 0;
HMS_HiAIAippParam_SetInputAippIndex(aippPara_, validInputAippIndex);
// 设置AippParam对象的输入图像格式
HMS_HiAIAippParam_SetInputFormat(aippPara_, HIAI_RGB888_U8);
// 设置AippParam对象的输入图像宽高
HMS_HiAIAippParam_SetInputShape(aippPara_, width, height);
uint32_t chnNum = 3;
uint32_t pixelMeanPara[3] = {0, 0, 0};
float minPixel[3] = {0.0, 0.0, 0.0};
float varReciPixel[3] = {1/255.0, 1/255.0, 1/255.0};
HMS_HiAIAippParam_SetDtcMinPixel(aippPara_, 0, minPixel, chnNum);
HMS_HiAIAippParam_SetDtcMeanPixel(aippPara_, 0, pixelMeanPara, chnNum);
HMS_HiAIAippParam_SetDtcVarReciPixel(aippPara_, 0, varReciPixel, chnNum);
// ...
// 获取输入张量的数量
size_t inputCount = 0;
OH_NN_ReturnCode ret = OH_NNExecutor_GetInputCount(executor_, &inputCount);
if (ret != OH_NN_SUCCESS || inputCount != inputData.size()) {
OH_LOG_ERROR(LOG_APP, "OH_NNExecutor_GetInputCount failed, size mismatch");
return OH_NN_FAILED;
}
for (size_t i = 0; i < inputCount; ++i) {
std::vector<int32_t> dims = {1, 3, static_cast<int32_t>(width), static_cast<int32_t>(height)};
// 由指定索引值创建一个输入张量的描述
NN_TensorDesc *tensorDesc = OH_NNExecutor_CreateInputTensorDesc(executor_, i);
// 设置NN_TensorDesc的数据形状
OH_NNTensorDesc_SetShape(tensorDesc, dims.data(), dims.size());
// 根据NN_TensorDesc和HiAI_ImageFormat计算申请tensor的大小
size_t tensorSize = HMS_HiAITensor_GetSizeWithImageFormat(tensorDesc, HiAI_ImageFormat::HIAI_RGB888_U8);
if (tensorSize == 0 || tensorSize != inputData[0].second) {
// 释放一个NN_TensorDesc实例
OH_NNTensorDesc_Destroy(&tensorDesc);
OH_LOG_ERROR(LOG_APP, "OH_NNExecutor_GetInputCount failed, size mismatch tensorSize %d"
"inputData[0].second %d", tensorSize, inputData[0].second);
return OH_NN_FAILED;
}
// 按照指定内存大小和NN_TensorDesc创建NN_Tensor实例
NN_Tensor* tensor = OH_NNTensor_CreateWithSize(deviceID_, tensorDesc, tensorSize);
HiAI_AippParam* aippParas[1] = {aippPara_};
// 给NN_Tensor设置AippParams
ret = HMS_HiAITensor_SetAippParams(tensor, aippParas, 1);
if (ret != OH_NN_SUCCESS) {
OH_LOG_ERROR(LOG_APP, "SetAippParams failed");
return OH_NN_FAILED;
}
if (tensor != nullptr) {
inputTensors_.push_back(tensor);
}
// 释放一个NN_TensorDesc实例
OH_NNTensorDesc_Destroy(&tensorDesc);
}