目录

AIPP部署

基本概念

AIPP部署是指动态AIPP推理时开发者按需配置动态AIPP参数,从而达到使能AIPP功能。

业务流程

接口说明

以下接口为AIPP参数设置接口,如要使用更丰富的设置和查询接口,请参见API参考。

表1 CANN Kit模型推理AIPP设置相关接口功能介绍

接口名 描述
HiAI_AippParam* HMS_HiAIAippParam_Create(uint32_t batchNum); 动态AIPP配置实例创建。
void HMS_HiAIAippParam_Destroy(HiAI_AippParam** aippParam); 动态AIPP配置实例销毁。
OH_NN_ReturnCode HMS_HiAIAippParam_SetInputIndex(HiAI_AippParam* aippParam, uint32_t inputIndex); 设置动态AIPP配置作用于输入上的索引。
OH_NN_ReturnCode HMS_HiAIAippParam_SetInputAippIndex(HiAI_AippParam* aippParam, uint32_t inputAippIndex); 设置动态AIPP配置作用于该输入的多个输出分支上的索引。
OH_NN_ReturnCode HMS_HiAIAippParam_SetInputFormat(HiAI_AippParam* aippParam, HiAI_ImageFormat inputFormat); 设置输入图片的格式。
OH_NN_ReturnCode HMS_HiAIAippParam_SetInputShape(HiAI_AippParam* aippParam, uint32_t srcImageW, uint32_t srcImageH); 设置输入图片的原始宽高。
OH_NN_ReturnCode HMS_HiAIAippParam_SetCscConfig(HiAI_AippParam* aippParam, HiAI_ImageFormat inputFormat, HiAI_ImageFormat outputFormat, HiAI_ImageColorSpace space); 设置图片色域转换参数。
OH_NN_ReturnCode HMS_HiAIAippParam_SetChannelSwapConfig(HiAI_AippParam* aippParam, bool rbuvSwapSwitch, bool axSwapSwitch); 设置图片通道交换参数。
OH_NN_ReturnCode HMS_HiAIAippParam_SetCropConfig(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t startPosW, uint32_t startPosH, uint32_t croppedW, uint32_t croppedH); 设置图片裁剪参数。
OH_NN_ReturnCode HMS_HiAIAippParam_SetResizeConfig(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t resizedW, uint32_t resizedH); 设置图片缩放大小参数。
OH_NN_ReturnCode HMS_HiAIAippParam_SetPadConfig(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t leftPadSize, uint32_t rightPadSize, uint32_t topPadSize, uint32_t bottomPadSize); 设置图片左右上下填充的像素数。
OH_NN_ReturnCode HMS_HiAIAippParam_SetChannelPadding(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t paddingValues[], uint32_t channelCount); 设置通道填充值。
OH_NN_ReturnCode HMS_HiAIAippParam_SetRotationAngle(HiAI_AippParam* aippParam, uint32_t batchIndex, float rotationAngle); 设置图片旋转参数。
OH_NN_ReturnCode HMS_HiAIAippParam_SetDtcMeanPixel(HiAI_AippParam* aippParam, uint32_t batchIndex, uint32_t meanPixel[], uint32_t channelCount); 设置图片数据类型转换的通道像素平均值。
OH_NN_ReturnCode HMS_HiAIAippParam_SetDtcMinPixel(HiAI_AippParam* aippParam, uint32_t batchIndex, float minPixel[], uint32_t channelCount); 设置图片数据类型转换的通道像素最小值。
OH_NN_ReturnCode HMS_HiAIAippParam_SetDtcVarReciPixel(HiAI_AippParam* aippParam, uint32_t batchIndex, float varReciPixel[], uint32_t channelCount); 设置图片数据类型转换的通道像素方差。
OH_NN_ReturnCode HMS_HiAITensor_SetAippParams(NN_Tensor* tensor, HiAI_AippParam* aippParams[], size_t aippNum); 给输入Tensor设置AIPP参数。

开发步骤

  1. 调用HMS_HiAIAippParam_Create创建动态AIPP配置实例。

  2. 设置与计算图关联的配置。

  3. 设置动态AIPP输入图片相关配置。

  4. 开发者按需设置以下动态AIPP功能参数。

  5. 将AIPP配置设置到NN_Tensor。

    通过构造输入输出Tensor后,调用HMS_HiAITensor_SetAippParams给输入Tensor设置AIPP参数。

  6. 执行模型推理。

  7. 调用HMS_HiAIAippParam_Destroy销毁动态AIPP配置实例。

示例说明

当前有一个超分模型,采用的输入数据为RGB888的图片数据,使能了动态AIPP之后,根据输入图片数据设置长度和宽度,并对输入数据做归一化操作处理。

constexpr uint32_t BATCH_NUM = 1;
// 创建一个batch数为1的动态aipp配置实例
aippPara_ = HMS_HiAIAippParam_Create(BATCH_NUM);
// 在多个输入情况下,设置索引以确定该AippParam对象作用于第几个输入
uint32_t inputIndex = 0;
OH_NN_ReturnCode ret = HMS_HiAIAippParam_SetInputIndex(aippPara_, inputIndex);
// 在data有多个输出分支时,设置AippParam对象作用域该输入的第几个输出分支
uint32_t validInputAippIndex = 0;
HMS_HiAIAippParam_SetInputAippIndex(aippPara_, validInputAippIndex);
// 设置AippParam对象的输入图像格式
HMS_HiAIAippParam_SetInputFormat(aippPara_, HIAI_RGB888_U8);
// 设置AippParam对象的输入图像宽高
HMS_HiAIAippParam_SetInputShape(aippPara_, width, height);
uint32_t chnNum = 3;
uint32_t pixelMeanPara[3] = {0, 0, 0};
float minPixel[3] = {0.0, 0.0, 0.0};
float varReciPixel[3] = {1/255.0, 1/255.0, 1/255.0};
HMS_HiAIAippParam_SetDtcMinPixel(aippPara_, 0, minPixel, chnNum);
HMS_HiAIAippParam_SetDtcMeanPixel(aippPara_, 0, pixelMeanPara, chnNum);
HMS_HiAIAippParam_SetDtcVarReciPixel(aippPara_, 0, varReciPixel, chnNum);
// ...
// 获取输入张量的数量
size_t inputCount = 0;
OH_NN_ReturnCode ret = OH_NNExecutor_GetInputCount(executor_, &inputCount);
if (ret != OH_NN_SUCCESS || inputCount != inputData.size()) {
    OH_LOG_ERROR(LOG_APP, "OH_NNExecutor_GetInputCount failed, size mismatch");
    return OH_NN_FAILED;
}
    
for (size_t i = 0; i < inputCount; ++i) {
    std::vector<int32_t> dims = {1, 3, static_cast<int32_t>(width),  static_cast<int32_t>(height)};
    // 由指定索引值创建一个输入张量的描述
    NN_TensorDesc *tensorDesc = OH_NNExecutor_CreateInputTensorDesc(executor_, i);
    // 设置NN_TensorDesc的数据形状
    OH_NNTensorDesc_SetShape(tensorDesc, dims.data(), dims.size());
    // 根据NN_TensorDesc和HiAI_ImageFormat计算申请tensor的大小
    size_t tensorSize = HMS_HiAITensor_GetSizeWithImageFormat(tensorDesc, HiAI_ImageFormat::HIAI_RGB888_U8);
    if (tensorSize == 0 || tensorSize != inputData[0].second) {
        // 释放一个NN_TensorDesc实例
        OH_NNTensorDesc_Destroy(&tensorDesc);
        OH_LOG_ERROR(LOG_APP, "OH_NNExecutor_GetInputCount failed, size mismatch tensorSize %d"
            "inputData[0].second %d", tensorSize, inputData[0].second);
        return OH_NN_FAILED;
    }
    // 按照指定内存大小和NN_TensorDesc创建NN_Tensor实例
    NN_Tensor* tensor = OH_NNTensor_CreateWithSize(deviceID_, tensorDesc, tensorSize);
    HiAI_AippParam* aippParas[1] = {aippPara_};
    // 给NN_Tensor设置AippParams
    ret = HMS_HiAITensor_SetAippParams(tensor, aippParas, 1);
    if (ret != OH_NN_SUCCESS) {
        OH_LOG_ERROR(LOG_APP, "SetAippParams failed");
        return OH_NN_FAILED;
    }
    if (tensor != nullptr) {
        inputTensors_.push_back(tensor);
    }
    // 释放一个NN_TensorDesc实例
    OH_NNTensorDesc_Destroy(&tensorDesc);
}