ModelParallelRunner

import com.mindspore.config.RunnerConfig;

ModelParallelRunner定义了MindSpore Lite并发推理。

公有成员函数

function	云侧推理是否支持	端侧推理是否支持
long getModelParallelRunnerPtr()	√	✕
boolean init(String modelPath, RunnerConfig runnerConfig)	√	✕
public boolean init(String modelPath)	√	✕
public boolean predict(List inputs, List outputs)	√	✕
boolean getInputs()	√	✕
boolean getOutputs()	√	✕
void free()	√	✕

getModelParallelRunnerPtr

public long getModelParallelRunnerPtr()

获取底层并发推理类指针。

返回值

底层并发推理类指针。

init

public boolean init(String modelPath, RunnerConfig runnerConfig)

根据路径读取加载模型，生成一个或者多个模型，并将所有模型编译至可在Device上运行的状态。该接口支持传入ms模型（converter_lite工具导出）和mindir模型（MindSpore导出或converter_lite工具导出），但对ms模型的支持，将在未来的迭代中删除，推荐使用mindir模型进行推理。当使用ms模型进行推理时，请保持模型的后缀名为.ms，否则无法识别。

参数
- modelPath: 模型文件路径。
- runnerConfig: 一个RunnerConfig结构体。定义了并发推理模型的配置参数。
返回值

是否初始化成功。

public boolean init(String modelPath)

根据路径读取加载模型，生成一个或者多个模型，并将所有模型编译至可在Device上运行的状态。该接口支持传入ms模型（converter_lite工具导出）和mindir模型（MindSpore导出或converter_lite工具导出），但对ms模型的支持，将在未来的迭代中删除，推荐使用mindir模型进行推理。当使用ms模型进行推理时，请保持模型的后缀名为.ms，否则无法识别。

参数
- modelPath: 模型文件路径。
返回值

是否初始化成功。

predict

public boolean predict(List<MSTensor> inputs, List<MSTensor> outputs)

并发推理模型。

参数
- inputs: 模型输入。
- outputs: 模型输出。
返回值

是否推理成功。

getInputs

public List<MSTensor> getInputs()

获取模型所有输入张量。

返回值

模型的输入张量列表。

getOutputs

public List<MSTensor> getOutputs()

获取模型所有输出张量。

返回值

模型的输出张量列表。

free

public void free()

释放并发推理类内存。