理论计算机科学家 Boaz Barak：深度学习并非“简单的统计”，二者距离已越来越远

几千年来，科学家们一直在为观测结果拟合模型。比如在科学哲学书皮中所提到的，埃及天文学家托勒密提出了一个巧妙的行星运动模型。托勒密的模型是地心的（即行星围绕地球旋转），但有一系列“旋钮”（knobs，具体来说就是“本轮”），使其具有出色的预测准确性。相比之下，哥白尼最初的日心说模型则是假设行星围绕太阳的圆形轨道。它比托勒密的模型更简单（“可调节旋钮”更少）、且整体上更正确，但在预测观察方面却不太准确 。 （哥白尼在后来也添加了他自己的本轮，从而与托勒密的表现可以相媲美。） 托勒密和哥白尼的模型是无与伦比的。当你需要一个“黑匣子”来进行预测时，那托勒密的地心模型更胜一筹。而如果你想要一个可以“窥视内部”的简单模型，并作为解释星星运动的理论起点，那哥白尼的模型就更好。 事实上，开普勒最终将哥白尼的模型改进为椭圆轨道，并提出了他的行星运动三定律，这使得牛顿能够使用地球上适用的相同引力定律来解释它们。为此，至关重要的是，日心模型并不仅是一个提供预测的“黑匣子”，而是由几乎没有“活动部件”的简单数学方程给出的。多年来，天文学一直是发展统计技术的灵感来源。高斯和勒让德（独立地）在 1800 年左右发明了最小二乘回归，用于预测小行星和其他天体的轨道；柯西在1847年发明的梯度下降，也是受到了天文预测的推动。 在物理学中，（至少有时）你可以“拥有一切”——找到能够实现最佳预测准确性和数据最佳解释的“正确”理论，这被诸如奥卡姆剃刀原理之类的观点所捕捉，假设简单性、预测能力和解释性洞察力都是相互一致的。然而在许多其他领域，解释（或一般情况下称，洞察力）和预测的双重目标之间存在张力。 如果只是想预测观察结果，“黑匣子”可能是最好的选择。但如果你提取因果模型、一般原理或重要特征，那么一个容易理解和解释的简单模型可能会更好。 模型的正确选择取决于其用途。例如，考虑一个包含许多个体的基因表达和表型（比如某种疾病）的数据集，如果其目标是预测个人生病的几率，往往会希望为该任务使用最佳模型，不管它有多复杂或它依赖于多少基因。相比之下，如果你的目标是在湿实验室中识别一些基因来进一步研究，那么复杂的黑匣子的用途将是有限的，即使它非常准确。 2001年， Leo Breiman 在关于统计建模两种文化的著名文章“Statistical Modeling: The Two Cultures”中，就有力地阐述了这一点。 “数据建模文化”侧重于解释数据的简单生成模型，而“算法建模文化 ”对数据是如何产生的并不了解，而是专注于寻找能够预测数据的模型。 Breiman 认为，统计数据太受第一文化的支配，而这种关注“导致了不相关的理论和有问题的科学结论” 和“阻止统计学家研究令人兴奋的新问题。” 但是，Breiman 的论文充满争议。虽然 Brad Efron 对部分观点表示赞同，但“看第一遍，Leo Breiman 那篇令人振奋的论文看起来像是反对简约和科学洞察力，支持很多旋钮可操纵的黑盒子。而看第二遍，还是那个样子” 。但在近期一篇文章（“Prediction, Estimation, and Attribution”）中，Efron 大方承认“事实证明，Breiman 比我更有先见之明： 纯粹的预测算法在 21 世纪占据了统计的风头，其发展方向与 Leo 此前提到的差不多。 ”