1. 概述

Huawei HiAI是面向移动终端的AI计算平台,构建三层AI生态:服务能力开放、应用能力开放和芯片能力开放。端芯云结合的三层开放平台为用户和开发者带来更多的非凡体验。

Huawei HiAI Foundation API是移动计算平台中的人工智能计算库,该计算库面向人工智能应用程序开发人员,让开发者便捷高效地编写在移动设备上运行的人工智能应用程序。
Huawei HiAI Foundation API将作为统一的二进制文件发布。这组API主要作用是通过Huawei HiAI异构计算平台来加速神经网络的计算,当前仅支持在Kirin SoC上运行。
使用Huawei HiAI Foundation API,开发人员可以专注于开发新颖的AI应用程序,而不用关注针对计算的性能调优。
Huawei HiAI Foundation API集成到Kirin SOC芯片上,为开发者提供基于移动设备的运行环境和调试工具,开发者可以在移动设备中运行神经网络模型,调用Huawei HiAI Foundation API进行加速计算。HiAI Foundation API无需安装,使用移动设备默认镜像即可支持相关集成、开发和验证。

2. 功能介绍

2.1 主要功能

Huawei HiAI Foundation API为人工智能应用开发人员提供了两个主要功能:

2.2 基本功能

Huawei HiAI Foundation API支持基本功能:

3. 技术介绍

4. 执行介绍

  1. 下图展示将已经训练好的神经网络模型,通过编译工具生成可以在Huawei HiAI Foundation上高效执行的离线模型,并保存为二进制文件Offline Model。
    将标准的神经网络模型(Caffe等)编译转换为离线模型,编译的主要目的是对网络配置进行优化,生成优化后的目标文件,即离线模型,离线模型是序列化的存储在磁盘上,这样,神经网络前向计算时,可以直接使用优化后的目标文件进行计算,速度更快。

  1. 下图展示离线模型计算时,从文件中加载Load离线模型,将用户的输入数据(如图片)拷贝在Huawei HiAI的NPU上进行计算。计算时,每一次Inference推理只需要把用户数据从DDR到NPU导入导出一次。

Huawei HiAI Foundation支持多种智能平台框架,包括Caffe、Tensorflow等,使用不同的智能平台框架,第三方需要在接口中指出本次计算需要使用的具体的智能平台框架,其他接口和参数无需修改。
Huawei HiAI Foundation支持绝大部分模型和神经网络算子,并持续优化与完善。