万字长文：详解现代AI和深度学习发展史(5)

十、1990年2月：生成式对抗网络/好奇心

生成对抗网络（GAN）最早于1990年在以「人工智能好奇心」为名发表。 两个对抗的NN（一个概率生成器和一个预测器）试图在一个最小极限游戏中使对方的损失最大化。其中：

生成器（称为控制器）生成概率输出（使用随机单元，如后来的StyleGAN）。

预测器（称为世界模型）看到控制器的输出并预测环境对它们的反应。使用梯度下降法，预测器NN将其误差最小化，而生成器NN试图这个误差最大化——一个网的损失就是另一个网络的收益。

在2014年关于GAN的论文之前4年，Schmidhuber就在著名的2010年调查中，将1990年的生成式对抗NN总结如下：「作为预测世界模型的神经网络被用来最大化控制器的内在奖励，它与模型的预测误差成正比」。 而之后发布的GAN，只是一个实例。其中，试验非常短，环境只是根据控制器（或生成器）的输出是否在一个给定的集合中而返回1或0。 1990年的原理被广泛用于强化学习的探索和现实图像的合成，尽管后者的领域最近被Rombach等人的Latent Diffusion接替。 1991年，Schmidhuber发表了另一个基于两个对抗性NN的ML方法，称为可预测性最小化，用于创建部分冗余数据的分离表征，1996年应用于图像。

十一、1990年4月：生成子目标/按指令工作

近几个世纪以来，大多数NN都致力于简单的模式识别，而不是高级推理。 然而，在20世纪90年代初，首次出现了例外。这项工作将传统的「符号」层次式人工智能的概念注入到端到端的可区分的「次符号」（sub-symbolic）NN中。 1990年，Schmidhuber团队的NN学会了用端到端可微分NN的子目标生成器来生成层次化的行动计划，用于层次化强化学习（HRL）。 一个RL机器得到额外的命令输入，其形式为（开始，目标）。一个评估器NN学习预测从开始到目标的当前奖励/成本。一个基于(R)NN的子目标生成器也看到了（开始，目标），并使用评估器NN的（副本）通过梯度下降学习一连串成本最低的中间子目标。RL机器试图使用这种子目标序列来实现最终目标。 该系统在多个抽象层次和多个时间尺度上学习行动计划，并在原则上解决了最近被称为「开放性问题」的问题。

十二、1991年3月：具有线性自注意力的Transformer

具有「线性自注意力」的Transformer首次发表于1991年3月。 这些所谓的「快速权重程序员」（Fast Weight Programmers）或「快速权重控制器」（Fast Weight Controllers）就像传统计算机一样分离了存储和控制，但以一种端到端差异化、自适应，以及神经网络的方式。 此外，今天的Transformer大量使用无监督预训练，这是Schmidhuber在1990-1991年首次发表的一种深度学习方法。