理论计算机科学家 Boaz Barak：深度学习并非“简单的统计”，二者距离已越来越远(7)

图注：在“The Deep Bootstrap Framework: Good Online Learners are Good Offline Generalizers”这篇论文中，研究者的发现表明，如今的深度学习架构在“过度参数化”与“欠采样”状态下表现相似（其中，模型在有限数据上训练多代，直到过度拟合：也就是上图所示的“真实世界”），在“参数化不足”与“在线”情况下也如此（其中，模型只训练一代，每个样本只看到一次：也就是上图中的“理想世界”）

总结

毫无疑问，统计学习在深度学习中扮演着重要的角色。但是，如果仅仅将深度学习视为一个比经典模型拟合更多旋钮（knobs）的模型，则会忽略其成功背后的许多因素。所谓的“人类学生”隐喻更是不恰当表述。 深度学习与生物进化相似，虽然对同一规则（即经验损失的梯度下降）有许多重复的应用，但会产生高度复杂的结果。在不同的时间内，神经网络的不同组成部分似乎会学习不同的内容，包括表示学习、预测拟合、隐式正则化和纯噪声等。目前我们仍在寻找正确的视角来提出有关深度学习的问题，更别说回答这些问题了。 任重道远，与君共勉。