接口定义
AIStatus Process(AiContext& context, std::vector<std::shared_ptr<AiTensor>>& pinputTensor, std::vector<std::shared_ptr<AiTensor>>& poutputTensor, uint32_t timeout, int32_t& piStamp);
参数
名称 | 类型 | 描述 |
context | AiContext & | 模型运行上下文,必须带model_name字段。 |
pinputTensor | vector<shared_ptr<AiTensor>> & | 模型输入节点Tensor信息。 |
poutputTensor | vector<shared_ptr<AiTensor>> & | 模型输出节点Tensor信息。 |
timeout | uint32_t | 推理超时时间(单位:毫秒)。 注意: 多次调用下发时,推理时间会进行累加,建议超时根据单个模型执行时间预估设置。 |
piStamp | int32_t & | 异步返回标识,基于该标识和模型名称做回调索引。 |
返回
如模型不更换,则首次编译加载完成后可多次推理,即一次编译加载,多次推理。