针对深度学习的“失忆症”，科学家提出基于相似性加权交错学习(5)

如果一项新内容可以添加到先前学习过的类别中，而不需要对网络进行较大更改，则称二者具有一致性。基于此框架，与干扰多个现有类别（低一致性）的新类别相比，学习干扰更少现有类别（高一致性）的新类别可以更容易地集成到网络中。 为了测试上述推断，作者团队使用上一节中经过预训练的CNN，在前面描述的所有5种学习条件下，学习了一个新的“car”类别。图5A显示了“car”类别的相似性矩阵，与其他现有类别相比，“car”和“truck”、“ship”和“plane”在同一层次节点下，说明它们更相似。为了进一步确认，作者团队在用于相似性计算的激活层上进行了t-SNE降维可视化分析（图5B）。研究发现“car”类与其他交通工具类（“truck”、“ship”和“plane”）有显著重叠，而“cat”类与其他动物类（“dog”、 “frog”（“青蛙”）、“horse”（“马”）、“bird”（“鸟”）和“deer”（“鹿”））有重叠。 和作者团队预期相符，FoL学习“car”类别时会产生灾难性干扰，对相近的旧类别干扰性更强，而使用FIL克服了这一点（图5D）。对于PIL、SWIL和EqWIL，每个epoch总共有n=2000张图像（图5C）。使用SWIL算法，模型学习新的“car”类别可以达到和FIL（H=0.79，P>0.05）相近的精度，而对现有类别（包括相似和不同类别）的干扰最小。如图5D第2列所示，使用EqWIL，模型学习新“car”类的方式与SWIL相同，但对其他相似类别（例如“truck”）的干扰程度更高（H=53.81，P<0.05）。 与FIL相比，SWIL可以更快地学习新内容，加速比=48.75x（45000×12/(2000×6)），内存需求减少，内存比=22.5x。与“cat”（48.75x vs.31.25x）相比，“car”可以通过交错更少的类（如“truck”、“ship”和“plane”）更快地学习，而“cat”与更多的类别（如“dog” 、“frog” 、“horse” 、“frog” 和“deer”）重叠。这些仿真实验表明，交叉和加速学习新类别所需的旧类别数据量，取决于新信息与先验知识的一致性。 图 5：( A ) 作者团队根据倒数第二层激活函数计算获得相似度矩阵（左），以及呈现新的“car”类别后对相似度矩阵进行层次聚类后的结果图（右）。( B ) 模型分别学习新的“car”类别和“cat”类别，经过最后一个卷积层过激活函数后，作者团队进行t-SNE降维可视化的结果图。( C ) 作者团队在5种不同的条件下预训练CNN学习新的“car”类（橄榄绿），直到性能平稳：1）FoL（共计n=5000张图像/epoch）；2）FIL（共计n=45000张图像/epoch）；3) PIL（共计n=2000张图像/epoch）；4) SWIL（共计n=2000张图像/epoch）；5) EqWIL（共计n=2000张图像/epoch）。（D）FoL（黑色）、FIL（蓝色）、PIL（棕色）、SWIL（洋红色）和 EqWIL（金色）预测新类别、相似旧类别（“plane” 、“ship” 和 “truck”）和不同旧类别（CIFAR10数据集中的其他动物类）的召回率，预测所有类别的总准确率，以及在测试数据集上的交叉熵损失，其中横坐标都是epoch数。每张图显示的是重复10次后的平均值，阴影区域为±1 SEM。 利用SWIL进行序列学习