机器学习理论基础总结(4)

渐进式进步、技术飞跃和范式转变

领域内主要通过三种主要机制来遍历理论理解与经验效用矩阵（图 2）。

字段可以遍历矩阵的方式的说明性示例。 渐进式进展是缓慢而稳定的进展，它在矩阵的右侧向上移动英寸场。过去几十年的监督机器学习就是一个很好的例子，在此期间，越来越有效的预测算法被改进和采用，为我们提供了我们今天喜欢的强大工具箱。渐进式进步是所有成熟领域的现状，除了由于技术飞跃和范式转变而经历更剧烈运动的时期之外。 由于由于技术的飞跃，一些领域看到了科学进步的阶梯式变化。深度学习领域并没有被它的理论基础所解开，这些基础是在 2010 年代深度学习热潮之前 20 多年发现的——它是由消费级 GPU 支持的并行处理推动了它的复兴。技术飞跃通常表现为沿经验效用轴向右跳跃。然而，并非所有以技术为主导的进步都是飞跃。今天的深度学习的特点是通过使用更多的计算能力和越来越专业的硬件训练越来越大的模型来实现渐进式进步。 在这个框架内科学进步的最终机制是范式转变。正如托马斯 · 库恩（Thomas Kuhn）在他的著作《科学革命的结构》中所指出的，范式转变代表了科学学科的基本概念和实验实践的重要变化。Donald Rubin 和 Judea Pearl 开创的因果框架就是这样一个例子，它将因果关系领域从随机对照试验和传统统计分析提升为更强大的数学化学科，形式为因果推理。范式转变通常表现为理解的向上运动，这可能会跟随或伴随着效用的增加。 然而，范式转换可以在任何方向上遍历矩阵。当神经网络（以及随后的深度神经网络）将自己确立为传统 ML 的独立范式时，这最初对应于实用性和理解力的下降。许多新兴领域以这种方式从更成熟的研究领域分支出来。

预测和深度学习的科学革命

总而言之，以下是我认为未来可能发生的一些推测性预测（表 1）。右上象限中的字段被省略，因为它们太成熟而看不到重大进展。

表 1：机器学习几大领域未来进展预测。

然而，比个别领域如何发展更重要的观察是经验主义的总体趋势，以及越来越愿意承认全面的理论理解。 从历史经验上看，一般是理论（假设）先出现，然后再制定想法。但深度学习引领了一个新的科学过程，颠覆了这一点。也就是说，在人们关注理论之前，方法就有望展示最先进的性能。实证结果为王，理论是可选的。 这导致了机器学习研究中系统的广泛博弈，通过简单地修改现有方法并依靠随机性来超越基线，而不是有意义地推进该领域的理论，从而获得了最新的最新成果。但也许这就是我们为新一波机器学习繁荣付出的代价。