【论文速递】CVPR2021 - 通过自我教育来完善自己:通过自我知识的蒸馏来完善特征

【论文原文】：Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation

获取地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9577468

博主关键词： 自我教育，知识蒸馏，完善特征

推荐相关论文：

-无

摘要：

知识蒸馏是一种将知识从预训练的复杂教师模型转移到学生模型的方法，因此较小的网络可以在部署阶段取代大型教师网络。为了减少训练大型教师模型的必要性，最近的文献引入了自我知识蒸馏，该算法逐步训练学生网络，以便在没有预先训练的教师网络的情况下提炼自己的知识。虽然自我知识蒸馏主要分为基于数据增强的方法和基于辅助网络的方法，但数据增强方法在增强过程中会丢失其局部信息，这阻碍了其对各种视觉任务（如语义分割）的适用性。此外，这些知识蒸馏方法没有收到在对象检测和语义分割社区中普遍存在的细化特征图。本文提出了一种新的自我知识蒸馏方法，即基于自我知识蒸馏的特征提炼（FRSKD），该方法利用辅助自教师网络将蒸馏的知识转移到分类器网络中。我们提出的方法FRSKD可以利用软标签和特征图蒸馏进行自我知识蒸馏。因此，FRSKD可以应用于分类和语义分割，强调保留局部信息。我们通过列举FRSKD在不同任务和基准数据集中的性能改进来证明其有效性。实现的代码可在 https://github.com/MingiJi/FRSKD 中找到。

关键词 ：自我教育，知识蒸馏，完善特征。

简介：

由于卷积神经网络的指数级发展，深度神经网络（DNN）已被应用于计算机视觉的各个领域[7]，[27]，[12]。为了在移动设备上分配成功，视觉任务需要克服有限的计算资源[11]，[41]。为了解决这个问题，模型压缩一直是一项至关重要的研究任务，知识蒸馏是一项突出的技术，具有良好的压缩和等效性能[9]。

知识蒸馏是一种将知识从预培训的教师网络转移到学生网络的方法，因此较小的网络可以在部署阶段取代大型教师网络。知识蒸馏通过接收1）类别预测作为软标签[9]来利用教师的知识;2）倒数第二层输出[29]，[21]，[23]或3）特征图，包括中间层的空间信息[26]，[2]，[8]。虽然知识蒸馏能够以浓缩的方式利用更大的网络，但对如此庞大的网络（也称为教师网络）的推理成为其实际用途的最终负担。此外，预训练大型网络需要大量的计算资源来准备教师网络。

为了减少训练大型网络的必要性，最近的文献引入了另一种替代知识蒸馏[6,42]；它是从具有相同学生网络架构的预训练网络中提取的。这种知识蒸馏仍然为学生网络提供了相同规模的信息。此外，还有一些关于自我知识蒸馏的文献，它在没有预先训练的教师网络[43,35,18,32,39]的情况下，训练学生网络逐步提炼和规范自己的知识。自我知识的蒸馏不同于以前的知识的蒸馏，因为它不需要事先准备教师网络。

自我知识蒸馏主要分为基于数据增强的方法和基于辅助网络的方法。基于数据增强的自我知识蒸馏诱导了对相关数据的一致预测，即单个实例或来自同一类别的一对实例的不同扭曲版本[32]，[35]，[18]。基于辅助网络的方法利用分类器网络中间的额外分支，并通过知识转移诱导额外的分支产生类似的输出[43]，[39]。然而，这些方法依赖于辅助网络，其复杂性与分类器网络相同或更低;因此，很难通过特征（卷积层的输出）或软标签为分类器网络生成精炼的知识[32]，[35]，[18]，[43]，[39]。此外，基于数据增强的方法很容易丢失实例之间的本地信息，例如不同失真的实例或轮换的实例。因此，很难利用特征蒸馏，这是提高一般知识蒸馏性能的众所周知的技术[32]，[35]，[18]。

针对现有自我知识蒸馏的局限性，本文提出了一种新的自我知识蒸馏方法，即基于自我知识蒸馏的特征提炼（FRSKD），该方法引入了一个辅助的自我教师网络，以实现精炼知识向分类器网络的转移。图1显示了FRSKD与现有知识蒸馏方法之间的差异。我们提出的方法FRSKD可以利用软标签和特征图蒸馏进行自我知识蒸馏。

因此，FRSKD可以应用于强调局部信息保存的分类和语义分割。与其他自我知识蒸馏方法相比，FRSKD显示了各种数据集上图像分类任务的最新性能。此外，FRSKD还提高了语义分割的性能。此外，FRSKD与其他自我知识蒸馏方法以及数据增强兼容。我们通过各种实验证明了FRSKD与大幅性能改进的兼容性。

【论文速递 | 精选】