基于类间距平衡的小样本图像 目标检测方法
基于类间距平衡的小样本图像 目标检测方法
1.研究背景
在过去的几年中，我们目睹了视觉对象检测的巨大进步。 这归因于具有精确注释和能够吸收注释信息的卷积神经网络（CNN）的大规模数据集的可用性。但是，注释大量对象既昂贵又费力。这也与认知学习不一致，认知学习可以使用很少的监督来建立精确的模型。
模拟人类学习方式的小样本目标检测已经引起越来越多的关注。给定足够训练数据的基类和很少监督样本的新颖类，小样本目标检测训练模型同时从基类和新颖类中检测物体。为此，大多数工作将训练过程分为两个阶段：基类训练（表征学习）和新颖类重建（元训练）。在表征学习中，使用足够的基类训练数据来训练网络并构建代表性的特征空间。在元训练中，对网络进行微调，以便可以在特征空间内表示新颖类对象。
尽管取得了重大进展，但是之前的工作忽略了表征和分类之间的内在矛盾。为了分离类别以减少类别之间发生混叠，两个基类的分布要求彼此远离（最大边距），但是为了精确表示新颖类，基类的分布应彼此接近（最小边距），这导致了分类的困难。如何在同一特征空间中同时优化新颖类的表征和分类还有待阐明。
2.团队介绍
所在团队由CAAI-华为MindSpore学术奖励基金获得者，叶齐祥教授领衔；叶齐祥教授现在中国科学院大学任教，历任讲师、（长聘）副教授、教授。2013至2014年在美国马里兰大学先进计算机技术研究所（UMIACS）任访问助理教授，2016年Duke大学信息技术研究所(IID)访问学者。主要进行鲁棒性特征表示学习、弱监督增量学习、自监督主动学习等方法研究及视觉目标感知技术研究，在IEEE CVPR, ICCV, NeurIPS, AAAI、ECCV等顶级会议与T-PAMI, TNNLS, TIP, T-ITS, PR等JCR一区期刊论文80余篇，支撑了金山云、华为、航天等单位的应用系统。获中国电子学会自然科学奖（2015年），IEEE Senior Member, IJCAI2020 、2021资深程序委员，获美国马里兰大学优秀学者奖（2013年），中国科学院卢嘉锡青年人才奖（2014年）、中国科学院优秀导师奖（2020）。担任国际期刊IEEE T-ITS与IEEE T-CSVT编委。
3.论文主要内容简介
本文进行研究，提出了一种类间距均衡(Class Margin Equilibrium，CME)的方法，目的是通过对抗性类间距正则化来优化用于小样本目标检测的特征空间划分。 对于目标检测任务，CME首先引入一个全连接层来解耦可能会误导特征空间中的类间距的本地特征。 然后，CME通过表示学习和特征重建来追求类间距的均衡。
具体而言，在基类训练期间，CME会构建一个特征空间，通过引入类间距损失来使新颖类之间的间距最大化。在新颖类重建期间，CME通过截断梯度图来引入特征扰动模块。通过多次训练迭代，类间距通过以对抗性最小-最大方式来对类间距进行均衡从而类间距的正则化，从而在同一特征空间中同时实现了特征重建和目标分类。
4.代码链接
【论文链接】：
【基于MindSpore实现代码开源链接】：
https://gitee.com/mindspore/contrib/tree/master/papers/CME
5.算法框架技术要点
本文提供了一种类间距均衡的方法，具有以下优势：
(1) 本文揭示了隐藏在小样本目标检测中表征分类的收缩，并从类间距均衡（CME）的角度提出了一种缓解该收缩的可行方法；
(2) 本文提出了最大边缘损失和特征扰动模块，以对抗性最小-最大方式实现类间距的均衡；
(3) 本文通过过滤原型向量中的定位的特征，将小样本目标检测的问题转换为小样本分类的问题。我们改进了现有技术，在一阶和二阶基线检测器上都有很大的提升。
6.实验结果
本文分别使用Meta YOLO和MPSR作为基线，在Pascal VOC、MS COCO数据库上进行学习与评测，结果如下图所示：
图 1
图 2
在上图中，就CME与基于YOLO检测器的包括LSTD，Meta YOLO和MetaDet在内的一阶小样本目标检测器在PASCAL VOC数据集上进行了比较。所提出的CME检测器与其他检测器相比较展示出了优于的其他检测器的巨大优势。具体而言，对于分组1，CME在1shot设置上的提升达到0.7％的提升（17.8％相较于17.1％），在2shot设置上的提升达到7.0％（26.1％相较于19.1％），在3shot设置上的提升达到2.6％（31.5％相较于28.9%）。 3次拍摄时为％），在5shot设置上的提升为9.8％（44.8％相较于35.0％）。平均提升为3.8％，对于小样本目标检测领域而言，这是很大的提升。此外分组3的平均性能改善为0.7％。
此外，将提出的方法与两阶小样本目标检测器进行比较，比较的检测器包括MetaDet，Meta RCNN，TFA，Viewpoint和MPSR，它们都是基于Faster-RCNN框架。可以看到，在大多数情况中，CME的性能均优于同类检测器。对于分组1，CME在2shot设置上的提升达到5％（47.5％相较于42.5％），在5shot设置上的提升达到6％（58.2％相较于52.2％）。平均提升达到1.2％。此外分组2的平均性能提高为1.5％，分组3的平均性能提高为0.3％。
7.MindSpore代码实现
CME 损失函数模块部分代码
8.总结与展望
我们提出了一种类别边缘平衡（CME）方法来优化特征空间划分和新颖的类别表示，以进行小样本目标检测。 在基类训练期间，CME 通过简单而有效的类边距损失为新类保留足够的边距空间。 在微调过程中，CME 通过以对抗的最小-最大方式扰乱新类的实例特征来追求边际平衡。 广泛的实验验证了 CME 在减少小样本设置中特征表示和分类的冲突方面的有效性。 作为一个即插即用的模块，CME 改进了一级和二级小样本检测器，与最先进的技术形成鲜明对比。 作为特征表示学习和类边距优化的通用方法，CME 为小样本学习问题提供了新的见解。