1. 概述
Huawei HiAI是面向移动终端的AI计算平台,构建三层AI生态:服务能力开放、应用能力开放和芯片能力开放。端芯云结合的三层开放平台为用户和开发者带来更多的非凡体验。

Huawei HiAI Foundation API是移动计算平台中的人工智能计算库,该计算库面向人工智能应用程序开发人员,让开发者便捷高效地编写在移动设备上运行的人工智能应用程序。
Huawei HiAI Foundation API将作为统一的二进制文件发布。这组API主要作用是通过Huawei HiAI异构计算平台来加速神经网络的计算,当前仅支持在Kirin SoC上运行。
使用Huawei HiAI Foundation API,开发人员可以专注于开发新颖的AI应用程序,而不用关注针对计算的性能调优。
Huawei HiAI Foundation API集成到Kirin SOC芯片上,为开发者提供基于移动设备的运行环境和调试工具,开发者可以在移动设备中运行神经网络模型,调用Huawei HiAI Foundation API进行加速计算。HiAI Foundation API无需安装,使用移动设备默认镜像即可支持相关集成、开发和验证。
2. 功能介绍
2.1 主要功能
Huawei HiAI Foundation API为人工智能应用开发人员提供了两个主要功能:
- 提供常用的人工智能业务功能API,可在移动设备上高效运行。
- 提供了一个与处理器硬件无关的加速API,应用厂商和开发者可以在Huawei HiAI异构加速系统上加速模型计算、算子计算。
2.2 基本功能
Huawei HiAI Foundation API支持基本功能:
- 支持模型编译、模型加载、模型运行、模型销毁等AI模型管理接口。
- 支持基本的算子计算接口,包括卷积、池化、全链接等接口。
3. 技术介绍
- Huawei HiAI Foundation支持针对神经网络模型运算的专用AI指令集,可以用最少的时钟周期高效并行执行更多的神经网络算子。
- Huawei HiAI Foundation通过工具可以把神经网络各种算子,比如卷积、池化、激活、全链接等离线编译成NPU的专用AI指令序列,同时将数据和权重重新摆放,指令与数据融合在一起生成离线执行模型。在离线编译的时候,可以把前后层(卷积、Relu、Pooling)能够融合的算子进行层间融合,这种方式可以减少DDR的读写带宽,提升性能。
- Huawei HiAI Foundation能够把神经网络模型中的相关数据(Batch、 Channel、 Height、 Width)以最高效的方式重新摆放,特别是Feature Map的通道数据,在做卷积运算的时候,对于通道相关联的计算效率会得到大幅提升。
- Huawei HiAI Foundation支持稀疏化模型加速。在不损失计算精度的前提下,对权重进行置零稀疏优化,NPU可以跳过系数为零的乘加运算,极大地提高了计算效率,同时也降低了带宽。
4. 执行介绍
- 下图展示将已经训练好的神经网络模型,通过编译工具生成可以在Huawei HiAI Foundation上高效执行的离线模型,并保存为二进制文件Offline Model。
将标准的神经网络模型(Caffe等)编译转换为离线模型,编译的主要目的是对网络配置进行优化,生成优化后的目标文件,即离线模型,离线模型是序列化的存储在磁盘上,这样,神经网络前向计算时,可以直接使用优化后的目标文件进行计算,速度更快。

- 下图展示离线模型计算时,从文件中加载Load离线模型,将用户的输入数据(如图片)拷贝在Huawei HiAI的NPU上进行计算。计算时,每一次Inference推理只需要把用户数据从DDR到NPU导入导出一次。

Huawei HiAI Foundation支持多种智能平台框架,包括Caffe、Tensorflow等,使用不同的智能平台框架,第三方需要在接口中指出本次计算需要使用的具体的智能平台框架,其他接口和参数无需修改。
Huawei HiAI Foundation支持绝大部分模型和神经网络算子,并持续优化与完善。