论文精讲 | 基于昇思MindSpore实现的历轮演化（GPGL）方法，让图像分类更精准
论文精讲 | 基于昇思MindSpore实现的历轮演化（GPGL）方法，让图像分类更精准
**作者：**李锐锋 ｜来源：知乎
论文标题
Epoch-Evolving Gaussian Process Guided Learning for Classification
论文来源
IEEE Transactions on Neural Networks and Learning Systems
论文链接
https://ieeexplore.ieee.org/document/9779793
代码链接
https://paperswithcode.com/paper/epoch-evolving-gaussian-process-guided
昇思MindSpore作为一个开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能，超大规模AI预训练、极简开发、安全可信的体验，2020.3.28开源来已超过5百万的下载量，昇思MindSpore已支持数百+AI顶会论文，走入Top100+高校教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心，金融、智能制造、金融、云、无线、数通、能源、消费者1+8+N、智能汽车等端边云车全场景逐步广泛应用，是Gitee指数最高的开源软件。欢迎大家参与开源贡献、套件、模型众智、行业创新与应用、算法创新、学术合作、AI书籍合作等，贡献您在云侧、端侧、边侧以及安全领域的应用案例。
在科技界、学术界和工业界对昇思MindSpore的广泛支持下，基于昇思MindSpore的AI论文2023年在所有AI框架中占比7%，连续两年进入全球第二，感谢CAAI和各位高校老师支持，我们一起继续努力做好AI科研创新。昇思MindSpore社区支持顶级会议论文研究，持续构建原创AI成果。我会不定期挑选一些优秀的论文来推送和解读，希望更多的产学研专家跟昇思MindSpore合作，一起推动原创AI研究，昇思MindSpore社区会持续支撑好AI创新和AI应用，本文是MindSpore AI顶会论文系列第20篇，我选择了来自浙江大学的李玺教授团队的一篇论文解读，感谢各位专家教授同学的投稿。
昇思MindSpore旨在实现易开发、高效执行、全场景覆盖三大目标。通过使用体验，昇思MindSpore这一深度学习框架的发展速度飞快，它的各类API的设计都在朝着更合理、更完整、更强大的方向不断优化。此外，昇思不断涌现的各类开发工具也在辅助这一生态圈营造更加便捷强大的开发手段，例如MindSpore Insight，它可以将模型架构以图的形式呈现出来，也可以动态监控模型运行时各个指标和参数的变化，使开发过程更加方便。
本文提出的用于分类的历轮演化高斯过程引导学习的新方案，解决了传统mini-batch梯度下降算法学习过程中出现“之”字形效应的问题。本文方法可以通用地应用于当前的深度模型，加快深度模型的收敛过程。本文实验主要涉及使用新设计的三角一致性损失函数，以历轮演进的方式，用ResNet对CIFAR-10、CIFAR-100数据集进行图像分类。按照昇思MindSpore官方文档案例，或社区提供的相关代码和模型，可以轻松实现本文实验所需代码。
01
研究背景
近年来，深度学习得到了长足发展，并得到了广泛应用。由于计算资源的限制，深度模型不得不依赖mini-batch随机梯度下降算法，如SGD和SGD-M，在一系列的epoch中进行迭代模型学习。在学习过程中，深度学习方法会根据随时间变化的样本批次异步更新模型参数，从而捕捉局部批次级分布信息，导致在优化过程中产生“之”字形效应。因此，深度模型通常需要大量的epoch迭代才能实现充分的模型学习，这实质上需要一个从局部批次到全局数据分布的自下而上的学习流程。而对于在不同epoch内连续添加的样本批次来说，这样的流程无法有效地建立批次级分布与全局数据分布之间的相关信息。
最近，为了加快深度网络的收敛速度并提高其性能，研究人员在mini-batch学习中加入了约束或额外引导。如正则化方法通过修改损失函数来约束学习过程，以获得更好的性能；标签平滑方法产生一个软目标，以促进标准学习流程，从而提高泛化能力；知识蒸馏方法通过压缩网络规模来提高卷积神经网络的性能；类信息编码方法通常关注更好的特征提取，这对保持类的可分性和避免过拟合更为有效。
02
团队介绍
本文来自浙江大学李玺教授团队。李玺教授，浙江大学求是特聘教授，国家杰出青年科学基金获得者，科技部科技创新2030新一代人工智能重大项目首席科学家，主要从事计算机视觉、模式识别和机器学习等领域的研究，在国际权威期刊和国际顶级学术会议发表或录用文章180余篇，拥有多篇ESI高被引论文，担任多个顶级会议如CVPR、ICCV、ECCV等的领域主席，同时也是多个国际刊物和会议的审稿人和程序委员。获得2021年世界人工智能大会最高奖“卓越人工智能引领者”，两项最佳国际会议论文奖，一项ICIP 2015 Top 10%论文奖等。
03
论文简介
为了表征批次级分布与全局数据分布之间的相关信息，我们提出了一种历轮演化高斯过程引导学习（GPGL）的新型学习方案，它的整体框架如图1所示，包括GP模型构建（顶部）和GP模型指导学习（底部）[GP为高斯过程Gaussian process的缩写，是全局分布感知学习，非参数建模，自上而下的策略]。
图1 GPGL框架示意图
GPGL通过非参数学习模型将全局数据分布信息近似地编码为类分布。全局分布由类感知采样锚集表示，它在数据集中的每个类随机选择一定数量的样本。在每个epoch开始时，GP模型会根据锚集的深度特征构建一个目标表示空间，以捕捉类信息的全局拓扑结构。然后，在接下来的迭代中，固定非参数GP模型来指导批次级表征学习，这是一种自上而下和自下而上的混合策略。在每个epoch结束时，更新目标表示空间以改进GP模型的行为，这被称为“历轮演进”。
对于每个epoch，GPGL都会在相应的特征空间中建立一个名为GP模型的类别分布回归模型。通过对与mini-batch相关的锚集的联合分布建模，GP模型可以预测mini-batch中每个样本的类分布概率。因此，对于批次数据中的每个样本，GP模型都能根据全局数据分布来估计其类别分布。批次数据分布与全局数据分布之间的这种相关性将反映在我们的GP模型所预测的类别分布中。这种类别分布，我们称之为上下文标签，它被用于正则化学习过程。从本质上讲，这种上下文标签估计相当于上下文标签传播过程，即通过GP方法将类别分布信息从锚样本动态传播到批次样本中。
随后，在传播的上下文标签的指导下，深度模型可以在传统的学习流程中学习类别分布信息。因此，我们有一个由三个学习部分组成的三角一致性损失函数：
1）深度模型预测与ground-truth标签；
2）深度模型预测与上下文标签；
3）上下文标签与ground-truth标签。
三角一致性损失函数在每个epoch中共同优化。一个epoch之后，与epoch相关的特征空间会根据最新的深度模型进行相应更新。根据更新后的特征空间，在下一个epoch中再次优化三角一致性损失。重复进行上述学习过程，直到收敛或达到固定的epoch数。
04
实验结果
在七个数据集上，我们将GPGL方法与最先进的优化策略进行了比较，如PID、FTC、COT、Adabound、LS、SD和CIE，结果如表1所示，表中数字为错误率（%）。除MNIST外，我们的GPGL性能在六个数据集上平均比最先进的优化方法高2.07%。对于CIFAR-100、Tiny-ImageNet、Calctech256数据集，我们的GPGL性能平均比其他四种方法高3.15%、3.05%、3.33%。与性能第二好的COT方法相比，我们的GPGL方案平均提高了0.92%的准确率。在 CIFAR-100中，我们的GPGL性能比Adabound高出7.33%。
表1 GPGL与其他优化方法的比较
05
总结与展望
在本文中，我们提出了一种历轮演进的GPGL方法，用于估计上下文感知类别分布信息，并有效地指导传统的自下而上学习过程。通过上下文标签，我们证明了我们的三角一致性损失函数能有效地在批次学习和全局分布感知非参数建模之间实现良好的平衡。在 CIFAR-10、CIFAR-100、Tiny-ImageNet、Caltech256、Corel5k和Corel10k数据集上的实验基于MindSpore框架验证了我们的GPGL方法优于最先进的优化方法。
往期回顾
论文精讲 | 基于昇思MindSpore实现的时空超分辨率CycMuNet+，显著提高视频画质
论文精讲 | 基于昇思MindSpore实现多域原型对比学习下的泛化联邦原型学习