MindSpore Lite使用.ms格式模型进行推理。当前大部分开发者使用了不同的第三方框架,比如TensorFlow、TensorFlow Lite、Caffe、ONNX等。为了保持开发者的模型一致性,MindSpore Lite如何使用这些三方框架的模型?
MindSpore Lite是HarmonyOS内置的轻量化AI引擎,目前已经在图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。开发流程:MindSpore Lite分为两个阶段:
对于第三方框架模型,比如TensorFlow、TensorFlow Lite、Caffe、ONNX等,可以使用MindSpore Lite提供的模型转换工具转换为.ms模型,使用方法可参考使用MindSpore Lite进行模型转换。
更多关于MindSpore Lite模型转换的使用,可参考其官网介绍推理模型离线转换,其中有Linux环境准备和Windows环境准备的详细说明。
过程:可以使用YOLOv5实现针对特定目标,如手部关键点(即手势)的检测。构建相应的数据集和训练代码,训练并生成相应的推理模型。
特定目标的检测方法可以通过建立推理模型并使用大量数据进行训练来提高识别准确度。
MindSpore Lite的模型转换工具目前支持使用的第三方框架有MINDIR、CAFFE、TFLITE、TF、ONNX、PYTORCH、MSLITE。
完整示例代码参考:基于MindSporeLite接口实现图像分类。
Q:主要应用场景有哪些?
A:图像分类,如给定一张图像(猫、狗、飞机、汽车等),判断图像所属的类别。目标检测,使用预置目标检测模型,检测标识摄像头输入帧中的对象(手势、燃气表等)并添加标签。图像分割,可用于检测目标在图片中的位置。
Q:MindSpore Lite推理框架使用NNRT设备进行推理时,为什么出现Build失败?
A:在使用NNRT推理时,由于设置parallelEnable=true导致Build失败。
Q:官方样例库里的模型mobilenetv2.ms跑NNRT失败?如果将三方框架的模型转成ms模型,能跑NNRT吗?
A:官方样例库里的模型mobilenetv2.ms不支持跑NNRT。三方框架的模型包转成ms模型之后是否支持NNRT与模型里实际用到的算子有关。
Q:实时识别手势(如✌或✋)?
A:可以参考解决方案,先构建推理模型,再通过模型转换,模型部署,模型调用来实现。
Q:means和stds代表什么?
A:means和stds是用于图像预处理中的归一化(Normalization)参数,means:图像每个通道的均值(Mean),stds:图像每个通道的标准差(Standard Deviation),数值是在ImageNet数据集上计算出的统计平均值和标准差。
Q:目前有ONNX库可以直接使用吗?
A:目前三方中心仓已有一个ONNX可以使用:sherpa_onnx。
Q:MindSpore Lite使用的模型中是否支持控制流算子?
A:目前MindSpore Lite并不支持控制流算子,建议开发者修改成无控制流算子的模型。