最新轻量ViT综述！后Transformer时代如何发展？(5)

知识蒸馏方法 ：Convolution +involution归纳偏见知识蒸馏。

损失函数 ：KL散度+交叉熵。网络整体结构如图9所示：

Tiny-ViT

Kan Wu等人[49]提出了一种不同的解决方案，称为Tiny-ViT，与之前提到的方法相比，大多数时间集中在微调蒸馏上。他们观察到，小的预训练模型可以受益于使用大量预训练数据从大到小预训练模型传递的知识。特别是，作者在预训练期间使用蒸馏来传递知识。对于大型教师模型，可以通过预先稀疏和存储logits来节省内存和计算开销。一个具有计算和参数约束的大型预训练模型被自动缩小，以生产tiny的学生Transformer。大量实验证明了Tiny-ViT的有效性。它仅使用21M个参数就达到了84.8%的top-1精度，与Swin-B相比，没有使用Swin-B那么多的参数。Tiny-ViT还通过提高图像分辨率实现了86.5%的准确度，仅用11%的参数略微超过Swin-L的准确度。

论文[49]中提出的工作侧重于预处理蒸馏，使小模型更能从大模型中学习，并将这些技能转移到下游任务。

预训练蒸馏方法的关键挑战是，在通过大型教师模型传递训练数据而不是训练一个小的目标群体时浪费了大量的计算资源。蒸馏方法效率低且成本高。大规模教师还可能消耗大量GPU内存，从而降低目标学生的训练速度。

作者提出了一个框架[49]，允许快速预处理蒸馏来解决这个问题。教师的预测和数据扩充由作者预先存储。因此，Training通过重用存储的信息简化了蒸馏过程，因此大型教师模型不需要那么多的内存和计算。作者只需要从存储的文件中恢复扩增信息和教师预测，并优化学生模型蒸馏的交叉熵目标函数。

主要观察：

由于作者仅使用教师模型生成的软标签进行训练，因此所提出的框架是无标签的，即不需要GT； 因此，它可以利用大量现成的无标签网络数据进行大规模预处理； 在实践中，这样的策略是可行的，因为软标签携带了足够的区分信息用于分类，包括类别关系，并且足够准确，可以使用； 然而，带有GT的蒸馏会导致性能轻微下降。 Attention Probe-based Distillation Method

[50]提出了一种新的解决方案，称为“Attention-Probe”，该方案基于由于道德和遗产问题而无法获得数据的真实分布的考虑。由于更高的计算要求，ViT与资源受限的设备不兼容。使用原始训练数据压缩它们可能是可能的，但隐私和传输问题可能会阻止这一点。野外许多未标记的数据为压缩卷积神经网络（CNNs）提供了另一种范例。然而，由于CNN和ViT在模型结构和计算机制上的显著差异，ViT的类似范例仍然是一个悬而未决的问题。本文旨在使用野外采集的两个阶段的未标记数据压缩ViT。第一步是设计一种从野外选择有价值数据的工具，即Attention-Probe。第二步使用所选数据使用探针知识蒸馏算法来训练轻量级学生转换器，该算法最大化了重型教师模型和轻型学生模型在输出和中间特征方面的相似性。Attention-Probe如图11所示：