机器学习前沿：为什么上下文是一切

本文将讨论机器学习中上下文的重要性，以及后期绑定上下文如何提高机器启蒙的标准。 图片版权：REDPIXEL via Adobe Stock 我们中的大多数人肯定听过这句谚语，“形象就是一切。”但谈到将AI升级到一个新的水平时，上下文才是一切。

上下文意识体现了人类学习的所有精细差别。正是‘谁’‘为什么’‘何时’为人类决策和行为提供了信息。如果没有上下文，当前的基础模型注定会转动车轮，并最终改变AI用于改善我们生活的期望轨迹。

这篇博客将讨论机器学习中上下文的重要性，以及后期绑定上下文如何提高机器启蒙的标准。

为什么上下文很重要

上下文深度嵌入人类学习当中，以至于很容易忽视它在我们对给定上下文反应当中的重要作用。为了阐明这一点，让我们假设一个两人对话场景，一个简单的问题开始：祖母怎么样？

在真实世界的对话当中，这个简单的问题会基于上下文因素（包括时间，环境，关系等）引发任意数量的潜在响应。

图1.对“祖母怎么样？”的合适回答是高度依赖上下文的。图片版权：Intel labs 该问题表明人类思维是怎样追踪并把大量上下文信息，甚至微妙的幽默，纳入考虑以返回相关响应的。这种流畅地适应大量且精细的上下文的能力远远超出了现代AI系统的能力范畴。 为了掌握这种机器学习缺陷的重要性，需要考虑基于强化学习（RL）的自主代理和机器人的发展。尽管基于RL的架构已经在Dota2和StarCraft II等模拟游戏环境中大肆宣传并获得成功，但由于在游戏中取得胜利所要求的策略具有高度上下文性和复杂性，即使像NetHack纯游戏环境都给当前的RL系统设置了一个可怕的障碍。相似地，在不需要认真的工程工作来在配置之前模拟正确类型的环境，或者强化习得规则却实现与以前从未见过的物理环境交互之前，自主机器人还有很长的路要走。

当前机器学习和上下文查询处理

一般情况下，大部分机器学习模型都包含特定查询的非常有限的上下文，且主要依赖于由模型被训练或调试好的数据集提供的通用上下文。这些模型引发了对偏差的顾虑：这使得他们不适用于商业、医疗保健和其他重要应用程序。即使是最先进的语音助手AI应用程序中使用的最先进的模型（如D3ST），也需要手动创建模型需要识别上下文的可能意图和行动的架构或本体的描述。虽然这其中只涉及了相对最低的人工制作水平，但它意味着每一次任务上下文更新时都需要明确的人工输入。 这并不是说机器学习模型在上下文感知上没有重大发展。OpenAI团队打造的著名大型语言模型GPT-3已经被用于生成可与人类创作相媲美的完整文章——这项任务至少需要追踪局部的上下文。Google于2022年4月推出的路径语言模型(Pathways Language Model, PaLM)则展示了更强大的功能，包括在适当的上下文下理解概念组合以对复杂查询做出响应的能力。 图2.PaLM能够成功的处理需要在相同概念但不同上下文之间切换的查询。图片版权：Google Research[13] CC BY 4.0 许可证 输入：Michael 正在法国那个非常著名的博物馆欣赏最著名的画。然而创作这幅画的艺术家让Michael想起了他童年最喜欢的卡通人物。卡通人物经常拿在手里的东西起源于那个国家? 模型输出：卢浮宫最著名的画是蒙娜丽莎，蒙娜丽莎的作者是莱昂纳多·达·芬奇。莱昂纳多·达·芬奇也是动画忍者神龟少年变种人。莱昂纳多·达·芬奇来自意大利。他经常拿在手上的是武士刀。武士刀起源于日本，所以答案是“日本”。 最近许多进展集中在基于检索的查询增强上，其中模型（查询）的输入由从辅助数据库自动检索相关数据来补充。这使得问答和推理等应用程序而非知识图谱本身取得了重大进展。 即使在上下文约束下，可实现输出的质量也得到了相当大的提高，因此可能很容易推断这表明了现代AI系统更普遍的上下文感知。然而，这些模型仍然没有提供更复杂的应用程序所需的上下文，例如制造，医疗实践等。这样的应用程序通常需要在上下文方面具备一定的流动性——正如之前一篇博客中的适应性部分讨论的那样。例如，相关的上下文必须以时间信息为条件，例如用户请求的紧急程度或交互的目标和敏感性。这种适应性允许给定查询的适当上下文根据与人类通信的进度而发展。用简单的人类术语来说，模型必须避免在已经掌握所有相关上下文信息前就跳到任何结论。这种对原始查询最终响应的仔细定时暂停就被叫做迟绑定上下文。 值得一提的是，最近神经网络模型确实有能力实现一些迟绑定上下文。例如，如果模型附加了一个辅助数据库，如维基百科，它可以用最新版本的维基数据来调整其响应，从而在提供对特定查询的响应之前考虑一定程度的时间相关上下文。高度重视上下文的领域之一是对话式AI，尤其是多轮对话建模。然而，必须承认在提供主题意识以及考虑隐含时间、先验知识和意图方面，仍存在关键性挑战。 目前部署的大多数AI技术的问题在于即使他们可以在特定情况下执行条件过程，随着时间推移进行条件执行对许多应用程序来说仍然是一个挑战，因为它需要对手头任务的理解以及之前发生的时间记忆进行结合，并以此充当先验条件。考虑一个更轻松、更象征性的例子，人们可以回想一下加拿大侦探节目“默多克之谜”，它以“你有什么，乔治？”而闻名。这是侦探默多克不断用来询问警员克拉布特里最新事态发展的短语，而答案总是不同的，并且高度依赖于故事中以前发生的事件。