IPreparedModel

概述

定义模型编译后的对象,包含编译后模型导出、模型推理接口。

起始版本: 3.2

相关模块:NNRt

汇总

Public 成员函数

名称 描述
ExportModelCache ([out] struct SharedBuffer[] modelCache) 导出模型缓存。
Run ([in] struct IOTensor[] inputs, [in] struct IOTensor[] outputs, [out] int[][] outputsDims, [out] boolean[] isOutputBufferEnough) 推理模型

成员函数说明

ExportModelCache()

IPreparedModel::ExportModelCache ([out] struct SharedBuffer[] modelCache)

描述 导出模型缓存。

起始版本: 3.2

参数:

名称 描述
modelCache 模型缓存数组,元素顺序与导出时元素顺序一致,SharedBuffer定义请查看SharedBuffer

返回:

返回0表示成功

返回负数表示失败

Run()

IPreparedModel::Run ([in] struct IOTensor[] inputs, [in] struct IOTensor[] outputs, [out] int outputsDims[][], [out] boolean[] isOutputBufferEnough )

描述 推理模型

起始版本: 3.2

参数:

名称 描述
inputs 模型推理的输入数据,输入的顺序与模型中定义的输入顺序一致,输入数据类型参考IOTensor定义IOTensor
outputs 模型推理的输出数据,推理完后需要往outputs的sharedBuffer中写入输出数据,IOTensor定义请查看IOTensor
outputsDims 模型推理输出数据的形状,输出顺序与outputs顺序一一对应。
isOutputBufferEnough 模型推理输出数据的SharedBuffer空间是否足够,足够的话返回true,不足则返回false,输出顺序与outputs顺序一一对应。

返回:

返回0表示成功

返回负数表示失败