万字长文：详解现代AI和深度学习发展史(2)

二、19世纪初：神经网络、线性回归与浅层学习

1805 年，阿德利昂·玛利·埃·勒让德（Adrien-Marie Legendre）发表了现在通常称为线性神经网络的内容。 阿德利昂·玛利·埃·勒让德

后来，约翰·卡尔·弗里德里希·高斯（Johann Carl Friedrich Gauss）也因类似的研究而受到赞誉。 这个来自2个多世纪前的神经网络有两层：一个具有多个输入单元的输入层和一个输出层。每个输入单元都可以保存一个实数值，并通过具有实数值权值的连接连接到输出。 神经网络的输出是输入与其权值的乘积之和。给定输入向量的训练集和每个向量的期望目标值，调整 权值，使神经网络输出与相应目标之间的平方误差之和最小化。 当然，那时候这还不叫神经网络。它被称为最小二乘法（least squares），也被广泛称为线性回归。但它在数学上与今天的线性神经网络相同：相同的基本算法、相同的误差函数、相同的自适应参数/权值。 约翰·卡尔·弗里德里希·高斯

这种简单的神经网络执行「浅层学习」，与具有许多非线性层的「深度学习」相反。事实上，许多神经网络课程都是从介绍这种方法开始的，然后转向更复杂、更深入的神经网络。 当今，所有技术学科的学生都必须上数学课，尤其是分析、线性代数和统计学。在所有这些领域中，许多重要的结果和方法都要归功于高斯：代数基本定理、高斯消元法、统计的高斯分布等。 这位号称「自古以来最伟大的数学家」的人也开创了微分几何、数论（他最喜欢的科目）和非欧几何。如果没有他的成果，包括AI在内的现代工程将不可想象。

三、1920-1925年：第一个循环神经网络

与人脑相似，循环神经网络（RNN）具有反馈连接，因此可以遵循从某些内部节点到其他节点的定向连接，并最终在起点处结束。这对于在序列处理期间实现对过去事件的记忆至关重要。 威廉·楞次（左）；恩斯特·伊辛（右）

物理学家恩斯特·伊辛（Ernst Ising）和威廉·楞次（Wilhelm Lenz）在 1920 年代引入并分析了第一个非学习RNN架构：伊辛模型（Ising model）。它根据输入条件进入平衡状态，是第一个RNN学习模型的基础。 1972 年，甘利俊一（Shun-Ichi Amari）使伊辛模型循环架构具有自适应性，可以通过改变其连接权值来学习将输入模式与输出模式相关联。这是世界上第一个学习型RNN。 甘利俊一

目前，最流行的RNN就是Schmidhuber提出的长短期记忆网络LSTM。它已经成为20世纪被引用最多的神经网络。