人工智能有大事发生，LeCun也转型了

来源 | 选自noemamag

作者 |GaryMarcus

编辑|机器之心

「深度学习撞墙」激辩到第 N 回合，Gary Marcus 回怼 LeCun：你们对我说的话有误解。

符号处理是逻辑学、数学和计算机科学中常见的过程，它将思维视为代数操作。近 70 年来，人工智能领域最根本的争论就是人工智能系统应该建立在符号处理的基础上还是类似于人脑的神经系统之上。 实际上还有作为中间立场的第三种可能——混合模型。通过将神经网络的数据驱动学习与符号处理的强大抽象能力相结合，混合模型试图获得两全其美的能力。这也是我个人职业生涯大部分时间的工作方向。 在最近发表于 NOEMA 杂志的 一篇文章 中，图灵奖得主、Meta 首席人工智能科学家 Yann LeCun 和 LeCun 实验室的「常驻哲学家」Jacob Browning 也卷入了这场争论。这篇文章似乎提供了新的替代方案，但仔细检查后就会发现文章观点既不新鲜也不令人信服。 Yann LeCun 和 Jacob Browning 在发表于 NOEMA 杂志的文章中首次正式回应「 深度学习撞墙了 」这个观点，表示「从一开始，批评者就过早地认为神经网络已经遇到了不可翻越的墙，但每次都被证明只是一个暂时的障碍。」 在文章的开头，他们似乎反对混合模型，混合模型通常被定义为是结合了神经网络深度学习和符号处理的系统。但到最后，LeCun 一反常态，用很多话承认混合系统的存在——它们很重要，它们是一种可能的前进方式，而且我们一直知道这一点。文章本身就是矛盾的。 至于为什么会出现这种矛盾，我唯一能想到的原因是 LeCun 和 Browning 以某种方式相信：学习了符号处理的模型并不是混合模型。但学习是一个发展中的问题（系统是如何产生的？），而已经发展好的系统如何运作（是用一种机制还是两种）是一个计算问题：无论以哪种合理的标准来衡量，同时利用了符号和神经网络两种机制的系统都是一个混合系统。（也许他们真正想说的是，AI 更像是一种习得的混合系统（learned hybrid），而不是先天的混合系统（innate hybrid）。但习得的混合系统仍然是混合系统。） 在 2010 年左右，符号处理被深度学习的支持者看作是一个糟糕的词；而到了 2020 年，了解符号处理的来源成了我们的首要任务。 我认为符号处理要么是与生俱来的，要么是其他东西间接地促成了符号处理的获得。我们越早弄清楚是什么基础允许系统学习符号抽象，我们就能够越早地构建适当利用世界上所有知识的系统，系统也将更安全、更可信和可解释。 然而，首先我们需要了解人工智能发展史上这场重要辩论的来龙去脉。 早期的人工智能先驱 Marvin Minsky 和 John McCarthy 认为符号处理是唯一合理的前进方式，而神经网络先驱 Frank Rosenblatt 认为人工智能将更好地建立在类似神经元的「节点」集合并可处理数据的结构上，以完成统计数据的繁重工作。 这两种可能并不相互排斥。人工智能所使用的「神经网络」并不是字面上的生物神经元网络。相反，它是一个简化的数字模型，与实际生物大脑有几分相似，但复杂度很小。原则上，这些抽象神经元可以以许多不同的方式连接起来，其中一些可以直接实现逻辑和符号处理。早在 1943 年，该领域最早的论文之一《A Logical Calculus of the Ideas Inmanent in Nervous Activity》就明确承认了这种可能性。 20 世纪 50 年代的 Frank Rosenblatt 以及 1980 年代的 David Rumelhart 和 Jay McClelland，提出了神经网络作为符号处理的替代方案；Geoffrey Hinton 也普遍支持这一立场。 这里不为人知的历史是，早在 2010 年代初期，LeCun、Hinton 和 Yoshua Bengio 对这些终于可以实际应用的多层神经网络非常热情，他们希望完全消灭符号处理。到 2015 年，深度学习仍处于无忧无虑、热情洋溢的时代，LeCun、Bengio 和 Hinton 在 Nature 上撰写了一份关于深度学习的宣言。这篇文章以对符号的攻击结束，认为「需要新的范式来通过对大型向量的操作取代基于规则的符号表达式操作」。 事实上，那时的 Hinton 非常确信符号处理是一条死胡同，以至于同年他在斯坦福大学做了一个名为「Aetherial Symbols」的演讲——将符号比作科学史上最大的错误之一。 类似地，20 世纪 80 年代，Hinton 的合作者 Rumelhart 和 McClelland 也提出了类似的观点，他们在 1986 年的一本著作中辩称：符号不是「人类计算的本质」。 当我在 2018 年写了一篇文章为符号处理辩护时，LeCun 在 Twitter 上称我的混合系统观点「大部分是错误的」。彼时，Hinton 也将我的工作比作在「汽油发动机」上浪费时间，而「电动发动机」才是最好的前进方式。甚至在 2020 年 11 月，Hinton 还声称「深度学习将无所不能」。 因此，当 LeCun 和 Browning 现在毫不讽刺地写道：「在深度学习领域工作的每个人都同意符号处理是创建类人 AI 的必要特征」，他们是在颠覆几十年的辩论史。正如斯坦福大学人工智能教授 Christopher Manning 所说：「LeCun 的立场发生了一些变化。」 显然，十年前的方法现在已经不适用了。 2010 年代，机器学习社区中许多人断言（没有真正的论据）： 「符号在生物学上不可信」。 而十年后，LeCun 却正在考虑一种包含符号处理的新方案，无论符号处理是与生俱来的还是后天习得的。 LeCun 和 Browning 的新观点认为符号处理是至关重要的，这代表了深度学习领域的巨大让步。 人工智能历史学家应该将 NOEMA 杂志的文章视为一个重大转折点，其中深度学习三巨头之一的 LeCun 首先直接承认了混合 AI 的必然性。 值得注意的是，今年早些时候，深度学习三巨头的另外两位也表示支持混合 AI 系统。计算机科学家吴恩达和 LSTM 的创建者之一 Sepp Hochreiter 也纷纷表示支持此类系统。而 Jürgen Schmidhuber 的 AI 公司 NNAISANCE 近期正围绕着符号处理和深度学习的组合进行研究。 LeCun 和 Browning 的文章的其余内容大致可以分为三个部分：