知识蒸馏主要分两类：

1：基于logits

2：基于feature

logits蒸馏主要是在早期，后期效果逐步被基于feature蒸馏超越。

cvpr2022的DKD基于传统的KD进行改进，重铸logits蒸馏的荣光。目前很多蒸馏都采用DKD方案，比如PaddleClass里面的模型，paddle-ocr等等。

目前基于 这个仓库在cifar100上进行验证：代码简洁明了https://github.com/Daeen/DKD-on-simple-models/blob/main/resnet50_vs_MobileNetV2.py

# 人工智能
Logo
DeepSeek技术社区

欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。

更多推荐

cover

【华为开发者空间 x DeepSeek】基于华为开发者空间云主机DeepSeek助力电商企业AI海报文案驱动的最佳实践落地

avatar DeepSeek技术社区
cover

基于华为云主机 + DeepSeek一键部署快速搭建Dify-LLM应用开发鸿蒙学习助手

avatar DeepSeek技术社区
cover

【实战利器】大模型开源项目全盘点！超详细，一定记得收藏！

avatar DeepSeek技术社区