多平台推理

查看源文件

概述

基于MindSpore训练后的模型，支持在不同的硬件平台上执行推理。本文介绍各平台上的推理流程。

Ascend 910 AI处理器上推理

MindSpore提供了model.eval()接口来进行模型验证，你只需传入验证数据集即可，验证数据集的处理方式与训练数据集相同。完整代码请参考https://gitee.com/mindspore/mindspore/blob/r0.3/example/resnet50_cifar10/eval.py。

res = model.eval(dataset)

此外，也可以通过model.predict()接口来进行推理操作，详细用法可参考API说明。

Ascend 310 AI处理器上推理

  1. 参考模型导出生成ONNX或GEIR模型。

  2. 云上环境请参考Ascend910训练和Ascend310推理的样例完成推理操作。裸机环境（对比云上环境，即本地有Ascend 310 AI 处理器）请参考Ascend 310 AI处理器配套软件包的说明文档。

GPU上推理

  1. 参考模型导出生成ONNX模型。

  2. 参考TensorRT backend for ONNX，在Nvidia GPU上完成推理操作。

端侧推理

端侧推理需使用MindSpore Predict推理引擎，详细操作请参考端侧推理教程。