人工智能技术应用：MindSpore在智慧屏/智能电视上的应用，让您的家庭相册分类功能越用越准

2021/12/24

大V博文

人工智能技术应用：MindSpore在智慧屏/智能电视上的应用，让您的家庭相册分类功能越用越准

作者：李锐锋

作者主页：https://www.zhihu.com/people/risenberg/posts

文章来源：https://zhuanlan.zhihu.com/p/448990579

背景

MindSpore Lite是MindSpore全场景AI框架的轻量级AI引擎，本文介绍MindSpore Lite在华为智慧屏上的应用，与传统电视相比，智慧屏除了可以观看电视节目外；还可以联网观看海量视频，语音控制家里的智能家电等，帮助您轻松开启智慧生活。智慧屏不仅是家庭的影音娱乐中心，更是信息共享中心、控制管理中心、多设备交互中心，及家庭的智慧生活控制中心。本文是MindSpore 人工智能技术应用系列第四篇，也欢迎您发布基于MindSpore的应用。

华为智慧屏参考图

京东上销量较高的华为智慧屏

使用MindSpore Lite的优势

极致性能高效的内核算法和汇编级优化，支持CPU、GPU、NPU异构调度，最大化发挥硬件算力，最小化推理时延和功耗。
轻量化提供超轻量的解决方案，支持模型量化压缩，模型更小跑得更快，使能AI模型极限环境下的部署执行。
全场景支持支持iOS、Android、鸿蒙等手机操作系统以及LiteOS嵌入式操作系统，支持手机、大屏、平板、IoT等各种智能设备上的AI应用。
高效部署支持MindSpore/TensorFlow Lite/Caffe/Onnx模型，提供模型压缩、数据处理等能力，统一训练和推理IR，方便用户快速部署。

AI应用在智慧屏上部署的挑战

当部署一个AI 应用到手机，智慧屏，音箱等终端设备上，在App使用过程中出现非预期效果时，比如语音识别不准，图片分类出错，个性化搜索推荐等，用户可能想到AI 应用背后的深度学习模型能否在线学习的方式使得深度学习模型更加准确，不会再次出现上述识别或者分类错误。神经网络本地基于用户数据在线学习或者在线训练更新，实现千人千模，能有效提升深度学习模型的预测准确率，实现更加准确的语音识别或者照片分类，更加精准的广告推荐，显著提高用户个性化体验。同时，用户数据不需要离开设备，很好的避免了数据外发泄露导致的用户隐私和安全问题。

随着AI模型小型化技术如NAS，剪枝、量化等，越来越成熟，以及端侧设备的算力(POWER)和物理存储(ROM/RAM)的增长，AI模型大小突破了端侧设备算力和存储等硬件资源的限制，在端侧进行神经网络学习，如迁移学习，小样本学习，增量学习，联邦学习等已成为可能。

MindSpore的方案

为了方便开发者，MindSpore Lite 开发了一套轻量化的端侧训练框架，并对外提供丰富、简单、易用的c++和java API。

**动静态内存复用：**算子间和算子内的两层复用，内存消耗更小；
**混合精度训练：**节省训练内存的同时提升训练速度；
**训练中止和恢复：**端侧设备硬件资源有限且业务繁多，端侧训练消耗硬件资源多，因此灵活的训练业务中止和恢复十分必要。
**梯度的获取和覆盖：**针对联邦学习，通常需将本地模型梯度经加密后发送到到云侧汇聚平均，然后重新分发梯度给各边缘设备，实现各端边缘侧数据特征共享，因此开放梯度的读写操作接口有助于用户构建开发应用；
**迁移训练接口：**针对迁移学习和增量学习，一般需独立构建backbone网络和head网络，训练时固定backbone网络，只对head网络finetune。因此MindSpore Lite 方便用于使用，对外提供了接口，backbone和head 网络的拼接由MindSpore Lite 训练框架来完成。
**在线的训练后量化：**端侧对模型大小的存储空间比较敏感，因此MindSpore 提供了在线的高精度权重量化方法，在保存训练模型或者推理模型时可对模型权重进行8bit压缩，轻松实现模型大小变小4x，缓解端侧存储压力；
**丰富的优化器：**Adam，SGD，MSE等；
丰富的ModelZoo: 支持了MobileNetV1/V2/V3, efficientNet, googleNet, denseNet, shuffleNet, tinyBert, yoloV3网络端侧训练；