使用CANN Kit提供的OMG模型转换工具进行转换时,执行如下命令会产生报错。
omg --model XXX.tflite --framework 3 --output ./mobilenet_v2 --input_shape input_1:-1,224.1,224,0 --out_nodes predictions/Softmax
CANN Kit人工智能框架将人工智能能力集成到HarmonyOS应用中。为了使移动端AI程序,能够直接使用PC端训练好的AI模型进行推理,可以使用CANN Kit的OMG离线转换工具将Caffe、TensorFlow、ONNX、MindSpore模型转换为OM离线模型,以供移动端AI程序使用。下面给出TensorFlow的模型转换示例:
./omg --model mobilenet_v2_1.0_224_frozen.pb --framework 3 --output ./mobilenet_v2 --input_shape "input:1,224,224,3" --out_nodes "MobilenetV2/Predictions/Reshape_1:0"
当看到OMG generate offline model success时,则说明转换成功,会在当前目录下生成mobilenet_v2.om文件。点击OMG参数可查阅上述命令中的参数详情。
问题描述中的转换命令有三点错误,给出的解决方案如下:
更多OMG参数说明,请参考OMG参数。
Q:Mindspore lite推理框架使用CPU进行推理,一会十几毫秒一会三十几毫秒,为什么耗时不稳定?
A:CPU推理耗时不稳定,建议设置绑核,OH_AI_ContextSetThreadAffinityMode(context_handler, 1),有效值为0-2,0为默认不绑核,1为绑大核,2为绑中核。
Q:Mindspore lite推理框架除了使用CPU推理,能不能用GPU或者NPU或者NNRT进行推理?
A:当前HarmonyOSNext支持CPU和NNRT进行推理。
Q:使用OMG转换工具提示没有OMG权限。
A:OMG工具位于Tools下载的tools/tools_omg下,使用管理员权限运行,sudo ./omg。
Q:执行命令:./omg --model=./add_custom.onnx --framework=5 --output=./AddCustom --target=omc报错:dlopen so failed: libai_npucore_itf.so: cannot open shared object file: No such file or directory,如何修改?
A:此问题有多种原因:
Q:离线模型转换是否对环境有要求,比如系统版本和python版本是否有限制?
A:有要求,请按照系统要求搭建环境。
Q:模型转换工具tools_omg报错:E/AI_FMK (2834577): onnx_graph_parser.cpp ParserGraph(785)::"Pre-check has errors."。
Q:纯CNN模型(去掉STFT层)转换显示最终成功,但是实际上推理时无法加载,而且netron也打不开,显示错误:Duplicate value 'stft_features:0'。
A:原始ONNX模型有冗余小算子,通过onnxsim简化后消除来解决。
Q:调用OH_AI_ContextSetThreadNum设置线程数为2,同时调用OH_AI_ContextSetThreadAffinityMode设置绑大核(值为1)后,在某些设备(如畅享70x、畅享90标准版)上模型推理耗时从几十毫秒增加到好几秒,如何解决?
A:出现该问题时,可以先验证仅调用OH_AI_ContextSetThreadNum设置线程数2,不调用OH_AI_ContextSetThreadAffinityMode时的耗时波动情况。如果耗时仍然异常,可以尝试将线程数修改为1,或者将亲核性设置为0(默认不绑核),耗时即可恢复正常的几十毫秒。