Neural Network Runtime Kit（Neural Network运行时服务） | 华为开发者联盟

输入关键字搜索

开发者能力认证

鸿蒙高校创新赛

HarmonyOS 7

animation

HarmonyOS行业解决方案

layoutWeight

HarmonyOS模板&组件

bindPopup

bindsheet

CTRL+K

文档开发者中心

Neural Network Runtime Kit

在 AI 领域的跨芯片推理计算运行时，Neural Network Runtime Kit 运行时作为中间桥梁连通上层 AI 推理框架和底层加速芯片，可以实现 AI 模型的跨芯片推理计算，为你降低使用底层不同硬件加速芯片的差异化影响。

开发指南 API参考

功能介绍

支持通过构图接口，将 Caffe、TensorFlow、ONNX 等模型在线构图为 HarmonyOS 内部统一格式的IR图。

支持将在线构图生成的 IR 图下发至芯片驱动层，转换成可以直接推理计算的格式，即图编译结果。

编译结果缓存

支持图编译结果缓存，将结果存储在应用提供的存储路径下。

通过调用执行接口，将编译后的 AI 模型在硬件加速器上运行。

支持通过构图接口，将 Caffe、TensorFlow、ONNX 等模型在线构图为 HarmonyOS 内部统一格式的IR图。

支持通过构图接口，将 Caffe、TensorFlow、ONNX 等模型在线构图为 HarmonyOS 内部统一格式的IR图。

支持通过构图接口，将 Caffe、TensorFlow、ONNX 等模型在线构图为 HarmonyOS 内部统一格式的IR图。

Native API

Native 接口供 AI 推理框架接入，使用底层芯片加速推理计算。

优势

跨平台

推理框架支持在 HarmonyOS 不同底层加速芯片的设备上实现推理计算。

高性能

使用专用硬件加速芯片，提升模型推理速度。

低功耗

使用专用硬件加速芯片执行模型推理，降低推理功耗。