理论计算机科学家 Boaz Barak：深度学习并非“简单的统计”，二者距离已越来越远(4)

那么，上述两个比喻中，哪个更恰当地描述了现代深度学习，特别是它如此成功的原因呢？统计模型拟合似乎更符合数学和代码。实际上，规范的 Pytorch 训练循环，就是通过如上所述的经验风险最小化来训练深度网络的： 然而，在更深层次上，这两种设置之间的关系并不那么清楚。具体而言，可以通过修复一个特定的学习任务来展开，使用“自监督学习 + 线性探头（linear probe）”的方法训练分类算法，其算法训练如下： 1、假设数据是一个序列 ，其中 是某个数据点（例如具体的图像）、 是一个标签。 2、首先找到一个深度神经网络来表示函数 ，这个函数的训练只使用数据点 而不使用标签，通过最小化某种类型的自监督损失函数。这种损失函数的例子是重建或画中画（从另一个输入 x 的某些部分恢复）或对比学习（找到 使 显著更小，当 是同一个数据点的增量时，并列关系比两个随机点的并列关系要小得多）。 3、然后我们使用完整的标记数据 来拟合线性分类器 （其中 C 是类的数量），使交叉熵损失最小。最终的分类器得出了 的映射。 第 3 步仅适合线性分类器，因此 “魔法”发生在第 2 步（深度网络的自监督学习）。 在自监督学习中，可以看到的一些属性包括： 学习一项技能，而不是逼近一个函数。 自监督学习不是逼近一个函数，而是学习可用于各种下游任务的表示。假设这是自然语言处理中的主导范式，那么下游任务是通过线性探测、微调还是提示获得，都是次要的。 越多越好。 在自监督学习中，表征的质量随着数据量的增加而提高。而且，数据越多样越好。 图注：谷歌 PaLM 模型的数据集 解锁能力。 随着资源（数据、计算、模型大小）的拓展，深度学习模型的不连续改进一次又一次地被看到，这在一些合成环境中也得到了证明。 图注：随着模型大小的增加，PaLM 模型在一些基准测试中显示出一些不连续的改进（上述图中只有三个大小的警告），并解锁了一些令人惊讶的功能，比如解释笑话。 性能在很大程度上与 损失 或数据无关。 不止一种自监督损失，有几种对比性和重建性损失被用于图像。语言模型有时采用单面重建（预测下一个标记），有时则是使用掩蔽模型，其目标是预测来自左右标记的掩蔽输入。 也可以使用稍微不同的数据集，这可能会影响效率， 但只要做出“合理”的选择，常规情况下，原始资源比使用的特定损失或数据集更能预测性能。 有些实例比其他实例更难。 这一点不只限于自监督学习，数据点或存在一些固有的“难度级别”。 事实上，有几个实际证据表明， 不同的学习算法有不同的“技能水平”，不同的点有不同的“难度水平” （分类器 f 对 x 进行正确分类的概率，随着 f 的技能单向递增，随 x 的难度单向递减）。“技能与难度”范式是对 Recht 和 Miller 等人所发现的“线上准确性”现象最清晰的解释，在我同 Kaplun、Ghosh、Garg 和 Nakkiran 的合著论文中，还展示了数据集中的不同输入如何具有固有的“难度特征”，常规情况下，该特征似乎对不同的模型来说是稳健的。 图注：Miller 等人的图表显示了在 CIFAR-10 上训练并在 CINIC-10 上测试的分类器的线现象准确性 图注：将数据集解构为来自 Kaplun 和 Ghosh 等人在论文“Deconstructing Distributions: A Pointwise Framework of Learning”中的不同“难度概况”点，以获得越来越多的资源分类器。顶部图表描述了最可能类的不同 softmax 概率，作为由训练时间索引的某个类别分类器的全局精度的函数；底部饼图展示了将不同数据集分解为不同类型的点。值得注意的是，这种分解对于不同的神经架构是相似的。 训练 即教学。 现代对大模型的训练似乎更像是在教学生，而不是让模型适应数据， 在学生不理解或看起来疲劳（训练偏离）时采取“休息”或尝试其他方式。Meta 大模型的训练日志很有启发性——除了硬件问题外，还可以看到一些干预措施，例如在训练过程中切换不同的优化算法，甚至考虑“热交换”激活函数（GELU 到 RELU）。如果将模型训练视为拟合数据而不是学习表示，则后者没有多大意义。 图注：Meta 的训练日志节选 下面探讨两种情况：