前言：

最近要做yolov5的模型压缩，于是研究了知识蒸馏的相关论文。

知识蒸馏干的事很简单，就是把大模型的输出作为小模型的软标签，这样小模型不仅有数据集的硬标签，还有大模型的软标签

但是，令人头疼的是，对于分类问题这个软标签的定义很清晰明确，就是分类的置信度，但是目标检测的检测框，这个软标签应该是什么？最终预测的box?所有box输出？

实验结果很差，还不如直接训练小模型准呢，看来还是不能想当然的无脑梭哈！

那目标检测的软标签应该是什么？

研究了X篇论文，在此记录一下他们的思路和方法

1. 2021 General Instance Distillation for Object Detection 快速了解啥意思点这里 ->简单说说
2. 2019 Distilling Object Detectors with Fine-grained Feature Imitation  快速了解啥意思点这里-> 简单说说
3. 2017 Learning Efficient Object Detection Models withKnowledge Distillation 快速了解啥意思点这里-> 简单说说

     4.2019 Relational Knowledge Distillation快速了解啥意思点这里-> 简单说说

能躺着绝不坐着，有源码绝不自己写的懒人原则，我选择了2号选手，仔细看了源码后按照yolov5的结构去改代码

https://github.com/magicshuang/yolov5_distillation

至于改的时候咋想的？我是写给我自己的，可以不看