万字长文：详解现代AI和深度学习发展史(4)

通过实验，鲁姆哈特等人证明反向传播可以在神经网络的隐藏层中产生有用的内部表示。至少对于监督学习，反向传播通常比甘利俊一通过SGD方法进行的上述深度学习更有效。 2010年之前，许多人认为训练多层神经网络需要无监督预训练。2010年，Schmidhuber的团队与Dan Ciresan表明深度FNN可以通过简单的反向传播进行训练，并且根本不需要对重要应用进行无监督预训练。

八、1979年：首个卷积神经网络

1979年，福岛邦彦（Kunihiko Fukushima）在STRL开发了一种用于模式识别的神经网络模型：Neocognitron。 福岛邦彦

但这个Neocognitron用今天的话来说，叫卷积神经网络（CNN），是深度神经网络基本结构的最伟大发明之一，也是当前人工智能的核心技术。 福岛博士引入的Neocognitron，是第一个使用卷积和下采样的神经网络，也是卷积神经网络的雏形。 福岛邦彦设计的具有学习能力的人工多层神经网络，可以模仿大脑的视觉网络，这种「洞察力」成为现代人工智能技术的基础。福岛博士的工作带来了一系列实际应用，从自动驾驶汽车到面部识别，从癌症检测到洪水预测，还会有越来越多的应用。 1987年，Alex Waibel将具有卷积的神经网络与权值共享和反向传播相结合，提出了延时神经网络（TDNN）的概念。 1989年以来，Yann LeCun的团队为CNN的改进做出了贡献，尤其是在图像方面。 Yann LeCun

2011年末，Schmidhuber的团队大大加快了深度CNN的训练速度，使其在机器学习社区中变得更加流行。团队推出基于GPU的CNN：DanNet，比早期的CNN更深入、运算更快。同年，DanNet成为第一个赢得计算机视觉竞赛的纯深度CNN。 由Microsoft Research的4位学者提出的残差神经网络（ResNet），在2015年的ImageNet大规模视觉识别竞赛拔得头筹。 Schmidhuber 表示，ResNet是其团队研发的高速神经网络（Highway Net）的一个早期版本。相较于以前的神经网络最多只有几十层，这是第一个真正有效的、具有数百层的深度前馈神经网络。

九、1987-1990年代：图神经网络与随机Delta法则

可以操纵结构化数据（例如图形）的深度学习架构于1987年由Pollack提出，并在20世纪90年代初由 Sperduti、Goller和Küchler进行扩展和改进。如今，图神经网络被用于许多应用程序中。 Paul Werbos和R. J. Williams等人分析了在RNN中实现梯度下降的方法。Teuvo Kohonen的自组织映射（Self-Organizing Map）也流行起来。 Teuvo Kohonen

1990年，Stephen Hanson引入了随机Delta法则，这是一种通过反向传播训练神经网络的随机方法。几十年后，这个方法在「dropout」的绰号下流行起来。