DevEco IDE(简称IDE)是华为消费者业务为开发者提供的集成开发环境,旨在帮助开发者快捷、方便、高效使用华为EMUI开放能力。IDE基于Android Studio功能扩展(以插件形式提供),当前已上线开放能力为智慧服务(HUAWEI HiAI),Camera、安全服务、远程真机调试、APP CloudTest等,其中Huawei HiAI功能主要包括HiAI Engine、HiAI Foundation(AI模型分析、AI模型转换、业务类生成)、AI模型市场等,安全服务功能主要包括人脸认证、iTrustee、泛支付等。
支持Android Studio 2.3.x及以上版本。
支持:Win7、Win10、MacOS 10.12/10.13。
1、Windows7/Windows 10:
内存:4G及以上
硬盘:100G及以上
软件:Docker(>Version 17.09)
2、MacOS 10.12.x/10.13.x:
内存:4G及以上
硬盘:100G及以上
软件:Docker(>Version 17.12)
Windows7 Docker下载地址:https://docs.docker.com/toolbox/toolbox_install_windows/。
Windows10 Docker 下载地址:https://store.docker.com/。
备注:本地模型转换需要Docker支持,Docker支持的操作系统和配置要求请查看Docker官网。
Windows平台:Darcula/IntelliJ。
MacOS平台:Darcula/Default。
请根据实际场景选择相应功能。
如使用EMUI AI API开发应用,请选择HUAWEI HiAI Engine。如需将Tensorflow/Caffe模型转换成华为HiAI模型,并且需要集成模型至APP中,请选择HUAWEI HiAI Foundation。
1、国内:
华为DevEco网站:https://deveco.huawei.com/develop。
华为开发者联盟网站:DevEco IDE下载。
JetBrains 仓库:进入Android studio->File-> Settings->Plugins->Browse Repositories,输入“DevEco IDE”,即可下载安装插件,如下图所示:

2、海外:华为开发者联盟海外官网HiAI页面。
将下载的IDE包通过Android Studio本地插件方式安装。进入Android studio->File-> Settings->Plugins,将下载的Huawei_ IDE.zip通过Android Studio本地插件方式安装,如图所示:

在Android Studio菜单栏DevEco点击SDK & Dev Tools可进入开发工具面板,在开发工具面板即可看到HiAI、Camera、安全服务

点击“华为终端开放能力”面板中的HiAI,进入HiAI功能。如下图所示:

HUAWEI HiAI Engine是EMUI面向第三方应用开发者开放的华为人工智能引擎。开发者可以通过集成SDK的方式,使用EMUI系统提供的AI能力,快速开发AI应用。如图 四所示,AI API通过卡片呈现,点击API卡片可以弹出该API的详细信息包括API功能介绍、使用场景、输入参数及其说明,输出,代码示例等。开发者可直接拖动API卡片或者代码片段到源码文件的任一地方。工具会帮助开发者自动下载依赖SDK并导入到libs目录,会自动导入gradle依赖,会自动导入import。并可收藏API,方便后续查阅。

HUAWEI HiAI Foundation是针对已有模型的开发者,需要将模型移植到HiAI平台提供的功能。当前同时支持Tensorflow、Caffe、CoreML、PaddlePaddle三种模型框架。该功能集模型转换(容器化)环境检测,AI模型分析,AI模型转换,模型引用API自动生成和依赖添加等功能于一体,方便开发者快速集成自有AI模型。模型集成支持本地模型集成及在线模型集成功能,在线转换可支持Tensorflow及Caffe两种模型框架。在模型集成页面,可通过点击“本地转换”或“在线转换”自行选择使用。
1、打开HUAWEI HiAI Foundation以后,点击“选择本地模型”打开模型转换对话框。在模型转化对话框中
(1)如果你使用的是Caffe模型,则需要输入如下参数,如图所示:

说明:
选择DDK版本类型:DDK是EMUI驱动库,与机型和EMUI版本有关系,详见7.png。
AI模型文件:Caffe模型在本地硬盘文件路径(Tensorflow类似)。
模型Prototxt文件:Caffe模型训练时使用的prototxt文件。
转换后HiAI模型输出的文件路径:该参数用来指定输出转换后的HiAI模型文件路径。HUAWEI HiAI Foundation会将用户的模型文件转换为HiAI支持格式文件。
模型引用API文件路径:当AI模型被转换为HiAI格式后,HiAI Foundation将会生成Android Java API类文件。该参数指定了生成Java API类文件的路径。该类文件的命名规律是[AI模型文件名]Model.java。如果你的Caffe模型文件名是AlexNet.caffe,转换后的模型则会被命名AlexNetModel.java。当模型转化完成后,可以使用如下示例代码引用模型:同步API—“AlexNetModel.predict(assetManager);”;异步API—“AlexNetModel.predictAsync(assetManager);”。
更多细节请参阅生成的模型引用API文件中的文档或者DDK文档。
(2)如果指定的模型文件是Tensorflow模型,则需要提供如下参数,如下图所示:

说明:
Input_nodes:神经网络的输入节点。
Output_nodes :神经网络的输出节点。
Target_nodes :LSTM网络时使用, 在Tensorlowtu网络中Session::Run的结束节点。该参数为可选参数。
小技巧:在windows和MacOS系统可直接拖动模型文件到IDE面板,IDE会自动识别模型文件路径并自动输入相关参数。
(3)如果指定的模型文件是Coreml模型或是PaddlePaddle模型,现在只限于V150和和V200本地转化。PaddlePaddle模型文件名称固定_model_,相对应的参数文件要要在模型文件__model\同一个文件夹内,后面操作基本与Tensorflow文件一致。有可能出现如下两种情况:
①、模型太大转化成Tensorflow文件时候,时间稍微长点。
②、有些模型出现无法生成Tensorflow文件,后面版本持续完善。
小技巧:在windows和MacOS系统可直接拖动模型文件到IDE面板,IDE会自动识别模型文件路径并自动输入相关参数。
(4)8Bit 量化工具可以精简模型尺寸,提高模型在NPU上运行速度。当前仅支持TensorFlow、Caffe 三通道图像模型,支持DDK版本为V200。
①、如果需要对TensorFlow模型进行量化,需要勾选8bit量化的选择框,正确填入量化所需的参数,界面效果如图所示:
备注:选择的图片用于矫正精度,建议30~60张,不用全部选择,其他参数根据具体模型需要填写,具体帮助可以点击小问号,也许可以帮助到您。

②、如果需要caffe模型进行量化,需要勾选8bit量化的选择框,正确填入需要的参数,界面效果如图所示:

需要8bit量化的caffe模型需要多选择一个网络训练参数文件Train_val.prototxt,如果该文件跟模型文件同一目录下,IDE工具会自动导入填充。同时还需要选择矫正图片格式:一种是LMDB格式,文件名以.mdb为后缀,如果选择该格式,还需要填写迭代参数(LMDB文件包含的图片个数)。另外一种是自选图片(.jpg),迭代参数不需要填写。图片选择的数量建议30~60,不用全部选择。
(5)模型分段可以将含有不支持算子的模型运行在麒麟970/980及EMUI8.2及以上版本手机,可以在NPU和CPU上混合调度执行,减少用户修改及重训练模型的时间。进入模型转换界面,若模型分析失败,则会开始尝试模型分段(当前支持DDK V150和V200版本)。模型分段结果文件保存在Module的assets目录下,如图所示:

(6)编译专有Tensorflow Inference库功能:Tensorflow Inference(简称TF Inference)库是指经过模型分段后,包含不支持算子模块的,由CPU调度的libtensorflow_inference.so库。现已支持对全集Tensorflow Inference库根据模型进行专有编译,用户可根据自身需要选择是否需要编译,如下图。全集TF Inference库,包含Tensorflow所有标准库算子;而专有TF Inference库,是根据当前模型,经过编译后生成的,只会包含该模型不支持的算子。编译时间大约需要30min,编译后生成的专有库文件存放在Module的lib/arm64-v8a/文件夹下。当用户不需要编译时,可直接使用全集TF Inference库。

若编译失败,仍会将全集TF Inference库文件存放至Module的lib/arm64-v8a/文件夹下。
2、参数输入完,点击“开始运行”按钮来开始模型转换。转换过程包含四步:本地模型转换环境检查、AI模型分析、AI模型转换、生成模型业务API类并增加相关依赖。详细过程如下:
(1)本地模型转换环境检查
该阶段IDE会自动检查本地转换环境。如发现任何问题,会弹出对话框提示用户修复问题。如图所示:

(2)AI模型分析
IDE会分析开发者输入AI模型是否支持HiAI。如果该模型不被HiAI支持,不支持的算子较多时,整个流程会停止,如图八所示。若不支持的算子较少,则会进入模型分段功能。如图所示:

通过“模型分析报告”可查看模型对HiAI兼容性和修复建议,开发者可根据该报告修改模型,重新训练转换。如图所示:

(3)AI转换模型
当第二步通过后,会进入到AI模型转换。该步骤是将开发者AI模型转换为HiAI格式。转换后的文件会被命名为[给定模型文件].cambricon. 例如,用户提供的AI模型文件名为AlexNet.caffe, 转换后的模型会被命名为AlexNet.cabricon。模型转换过程日志会打印到DevEco output控制台。
(4)生成模型引用API类并添加相关依赖
当以上步骤都通过,IDE会自动生成模型引用业务类并添加相关依赖至开发者APP工程中。
至此,模型转换就全部完成了,如图所示。通过点击“查看结果”可看到IDE添加和修改的文件列表。 查看DevEco Output可查看控制台输出内容。

当以上步骤都完成后,开发者就可以调用[模型文件]Model.java类来完成AI模型运行。我们提供的API有以下两个:
同步API:AlexNetModel.predict(assetManager)。
异步API:AlexNetModel.predictAsync(assetManager);。
更多内容请参见生成类中的API文档,或者DDK文档。
模型商店提供了线上模型和示例工程下载功能,方便开发者使用第三方模型和参考示例工程,如图:

首先选择想要试用的模型,左边浮窗会显示该模型的详细信息。开发者有两种方式使用该模型:
模型下载:点击模型细节浮窗右上角模型下载按钮,选择下载路径,IDE会启动下载。下载完毕后,IDE会自动解压文件并打开模型集成对话框。对话框中所有参数已添加好,开发者只需点击开始运行按钮即可。
示例下载 :点击模型细节浮窗右上角示例下载按钮,选择下载路径,IDE会启动下载。下载完毕后,IDE会自动在资源浏览器中打开下载路径。开发者只需解压文件并用Android Studio打开解压完的工程即可参照已经集成好模型的示例工程代码。
在“华为终端开放能力”面板点击CameraKit,进入Camera功能,如下图所示。其能力同2.2.1.1 HUAWEI HiAI Engine。

在“华为终端开放能力”面板中点击“安全服务”,进入安全服务功能,如下图所示。包含三大功能块:人脸认证、iTrustee、泛支付。
备注:使用人脸认证、iTrustee、泛支付功能需要通过华为Vmall账号登录(需要浏览器支持),同时支持IE8以上版本和Chrome浏览器。该功能需要开发者联系histudio@huawei.com开通账号权限。

在“安全服务”面板点击“人脸认证”卡片进入人脸认证详情页面,如下图所示。其能力同2.2.1.1 HUAWEI HiAI Engine详情页面。

在“安全服务”面板点击iTrustee卡片,进入iTrustee功能,如下图所示。

iTrustee包含四个功能块:iTrustee开发、证书及配置文件管理、导入iTrustee工程、导出iTrustee工程。
1、开发环境搭建
(1)Windows
| 名称 | 下载地址 | 版本号 | 系统环境变量配置 |
| arm-none-eabi | https://launchpad.net/gcc-arm-embedded/+download | V4.6(2012q4-201216),4.6以上版本不支持。 | 例如安装路径为C:\Program Files (x86)\GNU Tools ARM Embedded\5.4 2016q3,配置C:\Program Files (x86)\GNU Tools ARM Embedded\5.4 2016q3\bin为环境变量。 |
| Python | https://www.python.org/downloads/release/python-2710/ | 2.7.10 32bit,注意32/64位系统都需要使用32位版本。 | 例如安装路径为C:\Python27,配置C:\Python27为环境变量。 |
| Cygwin | https://www.cygwin.com/ | 2.2.1及以上。 | 安装package时,要在devel下选择make。 |
| OpenSSL | https://www.openssl.org/source/ | 无 | 例如安装路径为C:\OpenSSL-Win64,配置C:\OpenSSL-Win64\bin为环境变量。 |
(2)Mac
| 名称 | 下载地址 | 版本号 | 系统环境变量配置 |
| arm-none-eabi | https://launchpad.net/gcc-arm-embedded/+download | V4.6(2012q4-201216),4.6以上版本不支持。 | |
| Python | 采用系统自带的Python2.7即可,不需要另行安装。 | ||
| OpenSSL | https://www.openssl.org/source/ | 无 |
2、iTrustee开发
开发者需填写模块名称,选择证书类型,并填写相关权限申请信息,点击“创建”按钮后可自动导入开发模板、申请相关证书,如图所示:

(1)若用户选择的是开发证书,则直接对配置文件签名。用户选择工具链地址后,点击“构建部署”按钮,可进行编译构建安装,如图所示:

说明:若用户选择开发证书,需要填写设备ID。可点击“获取设备ID的方法”按钮下载获取设备ID的方法和Excel导入模板。
(2)若用户选择的是生产证书,则需要先进行人工审核才可以选择工具链地址进行编译构建。如图所示:

3、证书及配置文件管理
开发者既可在“证书及配置文件管理”页面中申请证书及配置文件,也可对“iTrustee开发”中申请的配置文件信息进行修改,可选择是否重新申请证书对证书进行管理,点击“更新”按钮更新配置文件及证书。如图所示:

4、导入iTrustee工程
开发者填写八位密码可将其他iTrustee工程导入到该工程中,导入内容包括iTrustee相关代码、证书及配置文件等。如图所示:

5、导出iTrustee工程
开发者填写八位密码可将该iTrustee工程导出,导出内容包括iTrustee相关代码、证书及配置文件等。如图所示:

在“安全服务”面板点击“泛支付”卡片进入泛支付API列表页面,如图所示。其能力同2.2.1.1 HUAWEI HiAI Engine。

Environment & Debug Tools为开发者提供调试环境和调试工具。当前支持本地真机、远程真机、HiKey 970开发板等。
开发者接入本地真机,如果不支持HiAI,IDE会弹出提示。如图所示:

通过IDE可以一键接入华为终端开放实验室,使用远程真机进行源码调试。通过DevEco > Environment & Debug Tools进入,可以搜索想要使用的机型,申请使用。如图所示:

备注:申请使用远程真机功能需要通过华为Vmall帐号登录(需要浏览器支持),同时支持IE8以上版本和Chrome浏览器。
HiKey 970是华为最新研制的开发板,内置最新的CPU和GPU技术,可供开发者以超高的速度运行安卓系统。开发者需要进行如下步骤安装和连接HiKey970。
1、插上HiHey 970电源线。
2、连接USB线至电脑。
3、在cmd中运行“fastboot continue”启动开发板”。
4、在cmd中运行“adb devices”,检查设备是否存在,若设备不能存在,请重新拔插USB线,重试步骤4。
5、点击“Android Studio下 DevEco” > “Environment & Debug Tools”,点击“安装驱动”。如图:

6、驱动安装完毕后,会自动连接设备。若设备连接失败,请重试步骤3-5。
7、如连接成功,投屏界面会直接打开,可通过鼠标操作。如图所示

1、插上HiHey 970电源线。
2、连接USB线至电脑。
3、点击“Android Studio”下“DevEco” > “Environment & Debug Tools”,点击底部的“使用”按钮(无需安装驱动)。如图所示:

4、如连接成功,投屏界面会直接打开,可通过鼠标操作。如图所示:

Model Create为开发者提供图像分类、文本分类、表格分类、物体检测、图片标注等迁移学习能力,当前支持图片标注功能。
该功能利用迁移学习算法在基座分类模型的基础上,针对特定领域百张级数据进行分钟级的重训练,最后可生成精度在90%以上的新模型。并提供一键生成模型调用API文件和模型调用示例AppDemo工程的功能,方便开发者快速应用新模型。
步骤一:添加训练数据
点击DevEco->Model Creator->图像分类,即可进入图像分类模块。将训练数据拖入虚线框数据接收区域进行数据格式校验,通过检验后会提示检测成功,“创建模型”按钮变成可点击状态,如图所示。


备注:添加数据的方式除了拖入,也支持手动选择。将鼠标停靠在虚线框中间,单击“添加训练图片按钮”,弹出数据选择框。数据规范要求见2.4.1.6。
步骤二:设置模型存放路径,训练参数,点击“创建模型”按钮开始训练
模型存放默认路径:./app/hiaiTmp/modelcreator文件夹下,训练参数中的迭代次数和学习速率的默认值分别为100和0.01。如图所示:

步骤三:模型训练
模型训练过程中,在DevEco Output日志框中会显示训练详细进展,训练完成会跳转到模型测试界面,并显示模型训练的结果,训练过程中可以点击返回按钮中断训练。生成的模型文件命名规则:retrained_数据集名称.mc,模型存放路径为步骤二中的默认路径。



如上图中的模型测试界面的虚线框数据接收框中,拖入测试数据,可以对模型进行测试,测试的结果会显示在下图列表中,点击列表中的测试项会显示图片原始尺寸图。测试完成会显示模型测试的平均精度,预测的正确、错误图片总数。

点击上图中“生成API” 按钮,会自动导入下图所示的调用模型相关的API文件,其中ModelcreatorUtils.java文件中包含全部的API调用接口,包括模型加载接口、模型推理接口、模型卸载接口、图片预处理接口、推理结果映射到label后的排序列表获取接口、label数组获取接口。关于API接口的详细说明请参考生成的ModelcreatorUtils.java文件。文件添加的位置可以参考下图显示的文件存放位置。

若开发者暂时不想将API文件插入自己的工程,可以点击“生成Demo”按钮,获取根据当前训练数据,包含新生成的模型的AppDemo示例工程。该工程可以直接运行在华为DDK V150以上的手机上(见2.3.2中的图)。返回的AppDemo工程文件的命名规则:AppDemo_数据集名称.zip。
若开发者已经获得.mc的模型文件,可以通过如下图的模型导入界面将模型解析到本地。可以通过点击“添加模型”按钮选择模型文件或者拖入模型到模型文件接收区中来导入.mc模型文件。导入成功后可以进行模型进行精度测试,API文件生成、AppDemo示例工程获取等操作。

1、训练数据
(1)目前只支持.jpg,.jpeg图片格式。
(2)训练数据以文件夹的形式存在,其中一级目录为整个数据集名称,二级目录为分类名称(标签名称),图片分别放在二级目录下,每个分类的图片数下限10张,上限200张。
(3)训练数据集分类数下限为2类,上限为1000类,且每类图片数量相差不超过10%。
2、测试数据
(1)目前只支持.jpg,.jpeg图片格式。
(2)测试数据集以文件夹的形式存在,其中一级目录为整个数据集名称,二级目录为分类名称(标签名称),其分类名称要与训练数据的分类名称一致,图片分别放在二级目录下。
(3)测试数据集图片总数下限2张,上限数与电脑当时的运行性能有关,默认是2000张。
该功能应用于制作票据类图片的模板,可作为在手机OCR识别算法中的精确识别票据中的指定文字信息。操作时用一张图片创建一个模板,再在该模板下创建编辑版本,然后进行标注,标注后可将标注的信息以json格式进行导出。
| 功能 | 描述 |
![]() | 进入模板主体区域的选取,在该编辑状态下,选出要标注的票据主体区域。 |
![]() | 进入模板的参照区域的标注,参照区域指票据中不变的部分。 |
![]() | 进入模板的识别区域的标注,识别区域指票据中需要识别的信息所在的区域。 |
![]() | 局部区域视图放大命令,在点击后,在编辑区选取一个矩形区域进行视图放大。 |
![]() | 清除局部区域视图放大命令的效果。 |
![]() | 删除当前选中的标注对象。 |
![]() | 清除当前编辑区的所有对象。 |
![]() | 以json格式保存标注信息到本地。 |
| 补充说明 | 已经标注的对象,可以通过拖动其矩形的四个角点进行形状的修改。 |
首先通过菜单栏的DevEco > Model Create进入功能面板区域。然后点击“图片标注”图形按钮,进入模板管理页面。如图所示:


点击“创建模板”按钮,在弹出的消息框中输入相关的模板名称,描述和图片路径地址,生成相关模板。接着会弹出一个默认版本信息是否需要修改的提示窗口,点击确定,输入版本的信息和描述,点击“创建版本”(注意如果点击取消,则会创建一个版本号为v1.0.0的默认版本,一个模板可以通过版本列表页面的“创建版本”按钮创建多个版本),此时在Android Studio的编辑区,会出现当前模板版本的主操作区,右侧工具栏呈现对应版本列表。过程如图所示:
备注:当前仅支持jpg、png、bmp格式的图片。




主操作区布局简介,如图所示,主要分为工具条,主编辑区,属性区。

选取模板区域,后续的参照对象和识别对象都是在选取的模板区域中进行标注的。

点击
按钮,进入参照区域的区域标注和属性填写,参照区域指的是票据模板中不变的区域。

点击
按钮,进入识别区域的区域标注和属性填写,识别区域指得是票据模板中需要识别的信息区域。

当标注操作完成后,点击
按钮将标注信息进行保存。

APP CloudTest为开发者提供DevEco 云测能力(当前支持兼容性、稳定性、性能、绿色应用测试等)。在Android Studio菜单栏DevEco点击APP CloudTest,可通过DevEco IDE直接创建并提交测试任务,如图所示:


备注:使用APP CloudTest功能需要通过华为Vmall账号登录(需要浏览器支持),同时支持IE8以上版本和Chrome浏览器。
在选择本地APK进行测试之前,必须要先在DevSpace创建APP ID。如图所示,需要先在下拉框选择“创建我的应用”跳转到DevSpace页面进行创建,然后再刷新页面即可看到创建后的APP ID。

在创建APP ID时需要填写应用的“名称”和“包名”,这两个参数会从本地选择的APK(如果用户已选择APK)中解析,得到相应结果后直接传入web页面上,如图所示;如果用户自行填写,需确保和应用的名称和包名保持一致,后续提交APK和创建任务时会校验这两个参数,如果不一致,APK将无法提交到后台。

备注:创建APP ID链接到web时,需要浏览器支持,当前仅支持Chrome浏览器。
在每个待测任务旁,可通过点击查看测试报告按钮,直接链接到DevEco云测服务,查看测试结果,为开发者提供丰富的测试服务,提升APP质量。如图所示:

在Android Studio菜单栏DevEco点击Personal Center,可通过DevEco IDE解析和上传APK,查看待办列表通知,如图所示:


备注:使用Personal Center功能需要通过华为Vmall账号登录(需要浏览器支持),同时支持IE8以上版本和Chrome浏览器。
在“应用”栏目,用户可以解析、上传本地的APK,并通过历史版本查看以往的上传记录;另外,在“待办”栏目,用户可以查看云端发过来的待办通知,例如App CloudTest测试失败的通知消息,这类消息除了在待办列表,也可以在顶部通知工具栏和右下角的通知弹窗处查看。
在个人中心“应用”栏目,你可以通过“进入DevSpace”按钮进入web栏目查看该应用的一个整体概览情况,如图所示。

工具会自动检查新版本,如有新版本,使用以下功能会激活更新对话框。如图:
(1)“DevEco” > “Help” > “Version”
(2)“DevEco” > “SDK & Dev Tools”

欢迎开发者提出问题建议和反馈,邮箱:deveco@huawei.com。
IDE完整性校验软件下载地址:https://www.openpgp.org/software/。
使用说明请点击下载:DevEco IDE 使用指南。