AI也有健忘症？英国41岁教授专访：解决灾难性遗忘

【导读】 罗切斯特大学计算机科学家在持续学习领域的开创性研究，有望解决算法一直以来存在的灾难性遗忘问题。

如何实现持续学习，让AI不断片？ 近日，来自罗切斯特大学的41岁计算机科学家Christopher Kanan在专访中表示，自己正在构建可以让AI随着时间的推移而不断学习的算法——就像我们人类一样。 灾难性遗忘

众所周知，AI在经过训练之后可以很好地完成「考试范围内」的任务，但是这些算法却不能像人类那样不断用新信息更新知识库。 为了学习哪怕是一个新的东西，算法也必须从头开始训练，而代价就是忘记它之前已经学习过的几乎所有内容。 如此带来的问题就是——「灾难性遗忘」（Catastrophic Forgetting）。 就像你遇到一个新朋友，你唯一能知道她名字的方法就是重启你的大脑。 之所以会出现这种情况，要归咎于神经网络学习新事物的方式。这些算法的学习需要改变神经元之间的连接强度，然而这同时也代表了过去的知识，因此过多地改变连接就会导致遗忘。 生物神经网络已经进化了数亿年的策略，以确保重要信息保持稳定。但是今天的人工神经网络很难在新旧知识之间取得良好的平衡。当网络看到新数据时，它们的连接很容易被覆盖，这可能导致突然而严重的无法识别过去的信息。 1. 您在哲学方面的学习对你思考研究的方式产生了哪些影响呢？

哲学教会你的是，「如何提出合理的论点」和「如何分析他人的论点？」 我的实验室受到这个问题的启发：如果我们不能做 X，我们怎么能做 Y？ 我们会随着时间的推移而学习，但神经网络不会，他的知识量是固定的。 那么如果人类未来要想制造通用人工智能，这是必须解决的基本问题。 Kanan的研究笔记 2. 学术界目前对灾难性遗忘的解决进展如何？

目前最成功的方法叫做重放（Replay），这样可以存储过去的知识，然后在训练过程中用新的数据集重放，这样原始信息就不会丢失。 这个方法的灵感来自我们大脑中的记忆巩固过程（Memory Consolidation），睡眠过程中一天的学习的内容被重新编码，并随着神经元激活而被重放。 换句话说，新的学习并不能完全根除算法过去的知识。 有三种方法可以实现这一点。 最常见的方法是「真实回放」，研究人员存储原始输入的子集——例如，用于对象识别任务的原始图像——然后将这些存储的过去图像与学习的新图像混合。 第二种方法是重放图像的压缩表示。 第三种不太常见的方法是「生成回放」。 在这里，人工神经网络实际上生成了过去经验的合成版本，然后将该合成示例与新示例混合。我的实验室专注于后两种方法。 3. 如果我们能够彻底解决灾难性遗忘，这是否意味着人工智能可以随着时间的推移不断学习新事物？