目录

Process

接口定义

AIStatus Process(AiContext& context, std::vector<std::shared_ptr<AiTensor>>& pinputTensor, std::vector<std::shared_ptr<AiTensor>>& poutputTensor, uint32_t timeout, int32_t& piStamp);

功能介绍

推理模型。

参数

名称

类型

描述

context

AiContext &

模型运行上下文,必须带model_name字段。

pinputTensor

vector<shared_ptr<AiTensor>> &

模型输入节点Tensor信息。

poutputTensor

vector<shared_ptr<AiTensor>> &

模型输出节点Tensor信息。

timeout

uint32_t

推理超时时间(单位:毫秒)。

注意:

多次调用下发时,推理时间会进行累加,建议超时根据单个模型执行时间预估设置。

piStamp

int32_t &

异步返回标识,基于该标识和模型名称做回调索引。

返回

类型

描述

AIStatus

  • AI_SUCCESS:成功。
  • Others:失败。

如模型不更换,则首次编译加载完成后可多次推理,即一次编译加载,多次推理。