「几何深度学习」从古希腊到AlphaFold，「图神经网络」起源于物理与化学(2)

第一个新「几何」类型的神经网络架构的灵感来自于神经科学。

在一系列后来成为经典并夺得诺贝尔医学奖的实验中，哈佛大学的神经生理学家David Hubel和Torsten Wiesel共同揭开了大脑中负责模式识别的一部分，即视觉皮层的结构和功能。

通过向一只猫展示不断变化的光线图案并测量其脑细胞（神经元）的反应，结果表明视觉皮层中的神经元具有多层结构，具有局部空间连通性：一个细胞只有在其附近的细胞，即感受野被激活时才会产生反应。

此外，该组织似乎具有层次结构，其中对局部原始导向的阶梯状刺激作出反应的「简单细胞」被「复杂细胞」聚合，产生对更复杂模式的反应。

有人假设，视觉皮层深层的细胞会对由较简单的图案组成的越来越复杂的图案作出反应，并半开玩笑地提出存在一个「祖母细胞」，它只在显示一个人的祖母的脸时作出反应。

对视觉皮层结构的理解在计算机视觉和模式识别的研究早期产生了深远的影响，福岛邦彦（Kunihiko Fukushima），当时是日本广播公司的研究员，开发了一个新的神经网络架构，类似于Hubel和Wiesel提出的视觉神经系统的层次模型，并将其命名为neocognitron。

neocognitron系统由交错的S层和C层神经元组成，这一命名习惯也反映了其在生物视觉皮层中的灵感；每层的神经元按照输入图像的结构（视网膜）排列成二维阵列，每层有多个「细胞面」（现代术语叫做feature map）。

S层被设计成平移对称的，使用共享的可学习权重聚集来自局部感受野的输入，导致单个细胞面的细胞具有相同功能的感受野，但处于不同的位置，其原理是为了吸收可能出现在输入中任何地方的模式。