大模型铺天盖地出现后，计算机科学终成「自然科学」

当部分人工智能正偏离其工程本源，AI 研究的方向变化，超出了我们的预料。

当前的人工智能（AI）处在一个奇妙的时代，时常会出现让人惊叹的隐性知识（Polanyi 的复仇和人工智能的新型浪漫与隐性知识，https://bit.ly/3qYrAOY），但可以确信在未来相当长的一段时间，计算机无法完成这个任务。最近出现的让人感兴趣的研究是基于 Transformer 架构的大型学习系统，基于大网络规模的多模态语料库和数十亿参数的训练。典型例子如大型语言模型、响应任意形式文本 prompt 的 GPT3 和 PALM、将文本转换成图像的语言 / 图像模型 DALL-E 和 Imagen（甚至具有通用行为的模型如 GATO）。 大型学习模型的出现从根本上改变了人工智能研究的性质。最近研究人员在使用 DALL-E 时，认为它似乎已经发展出自己的 特有语言 ，如果人类能掌握它，或许可以更好地与 DALL-E 交互。也有研究人员发现，可以通过在 prompt 中 添加某些神奇的咒语 （比如「让我们一步步地思考」）来改善 GPT3 对推理问题的表现。现在 GPT3 和 DALL-E 这样的大型学习模型就像是「外星物种」一样，我们要尝试解码它们的行为。 对于人工智能来说，这无疑是一个奇怪的转折点。自出现以来，人工智能一直是介于工程学（特定功能的系统）和科学（发现自然现象规律）之间的「无人区」地带。人工智能的科学部分源于其最初的主张，即对人类智能本质的洞察；而工程部分则源于对智能功能（让计算机展示智能行为）的关注，而不是对人类智能的洞察。 而目前的情况正在迅速变化，特别是人工智能已成为大型学习模型的同义词。当前的现状是，人们对于训练过的模型是如何拥有特定功能一无所知，甚至它们可能具有的其它功能一无所知（如 PALM 所谓的「解释笑话」的能力）。即使是它们的创造者，通常也对这些系统能做的事情始料不及。探索这些系统以了解其「功能」范围，已成为近来人工智能研究的趋势。 越来越清楚的是，部分人工智能正偏离其工程本源。如今很难将大型学习系统看作传统意义上有特定目标的工程设计。毕竟人们不能说自己的孩子是「设计」出来的。工程学领域通常不会为设计的系统出现意料之外的新特性而庆祝（就如同土木工程师不会因为他们设计的抵御五级飓风的桥梁被发现还能悬浮而激动兴奋的庆祝）。 越来越多地证据表明，这些经过训练（但未经设计）的大型系统的研究注定要成为自然科学：观察系统的功能；做消融研究；对最佳实践进行定性的分析。 考虑到目前研究表象而非内里的事实，这类似于生物学中想在没有实际证据的情况下达到「弄清楚」的宏伟目标。机器学习属于研究工作，更多地关注系统为什么会做它正在做的事情（可以想象成对大型学习系统做「核磁共振成像」研究），而不是证明设计系统就是为了这样做。这些研究收获的知识能提升微调系统的能力（就像医学一样）。当然表象的研究允许比内里设置进行更具针对性的干预。 人工智能变成自然科学，也会对整个计算机科学产生影响，考虑到人工智能会对几乎所有计算领域都产生巨大影响。计算机科学的「科学」二字也受到过质疑和讽刺。但现在情况已有改变，因为人工智能已经成为研究大型人工学习系统的自然科学。当然，这一转变可能存在很大的阻力和意见，因为计算机科学长期以来一直是「建构修正的方法 (correct by construction)」圣杯，从最开始计算机科学就相当于生活在充满激励的系统中，它像训练有素的狗不犯错，就像人类一样正确。 早在 2003 年，图灵奖得主 Leslie Lamport 对计算未来属于生物学而非逻辑的可能性敲响警钟，称计算机科学将让我们生活在顺势疗法和信仰疗愈的世界。当时他的焦虑主要是针对人类通过编程完成的复杂软件系统，而不是现在更神秘的大型学习模型。 当从一个主要关注有意设计和「通过构造保证正确」的领域，转向试图探索或理解现有的（未经设计的）人工产物，它将带来的方法学转变值得思考。与生物学研究野外生物不同，人工智能研究人类创造的缺乏「设计感」的人工产物，对于创造和部署那些不被理解的人工产物，伦理问题是肯定会出现的。大型学习模型不太可能保证支持可证明的能力，无论是关于准确性、透明度还是公平性，然而这些是部署和实践这些系统的关键问题。虽然人类也无法提供关于其自身决定和行为正确性的证据，但确实有法律制度来让人类遵守惩罚，如罚款、谴责甚至监禁。而对于大型学习系统，有什么是等价的制度？ 计算研究的美学也会发生改变。目前的研究者可以用论文中包含定理与定义的比例来评价论文。但随着计算机科学的目标，越来越像生物学等自然科学的目标，就需要开发新的计算美学方法论（因为零定理与零定义比例不会有很大的区别）。有迹象表明，计算复杂性分析在人工智能研究中已处于次要地位。 原文链接：https://cacm.acm.org/magazines/2022/9/263799-changing-the-nature-of-ai-research/fulltext