斯坦福李飞飞团队新研究登 Nature 子刊：实现可信 AI，数据的设计、完善、评估是关键

确定了一个人工智能应用程序后，开发 AI 模型第一步就是设计数据（即识别和记录数据来源）。 设计应当是一个迭代过程——用试验数据来开发初始的 AI 模型，然后再收集额外数据来修补模型的局限性。设计的关键标准是确保数据适用于任务，并覆盖足够的范围来代表模型可能遇到的不同用户和场景。 而目前用于开发 AI 的数据集通常覆盖范围有限或者具有偏差。例如在医疗 AI 中，用于开发算法的患者数据的收集在地区分布上不成比例，这会限制 AI 模型对不同人群的适用性。 提高数据覆盖率的一种方法，是让更广泛的社区参与数据的创建。目前最大的公共数据集 Common Voice 项目就是一个例证，该数据集包含了来自 166000 多名参与者的 76 种语言的 11192 小时语音转录。 而当代表性数据难以获得时，可以用 合成数据 来填补覆盖空白。比如真实人脸的收集通常涉及隐私问题和抽样偏差，而由深度生成模型创建的合成人脸现在已经被用于减轻数据不平衡和偏差。在医疗保健领域，可以共享合成医疗记录来促进知识发现，而无需披露实际的患者信息。在机器人技术中，真实世界的挑战是终极的测试平台，也可以用高保真模拟环境来让智能体在复杂和长期任务中实现更快、更安全的学习。 但合成数据也存在一些问题。合成数据与现实数据之间总是存在差距，所以在将基于合成数据训练的 AI 模型转移到现实世界时，通常会出现性能下降。如果模拟器的设计不考虑少数群体，那么合成数据也会加剧数据差异，而 AI 模型的性能高度依赖其训练和评估数据的上下文，因此在标准化和透明的报告中记录数据设计地上下文就非常重要。 现在，研究人员已经创建了各种 「数据营养标签」（data nutrition labels）来捕获有关数据设计和注释过程的元数据（metadata）。 有用的元数据包括数据集中参与者的性别、性别、种族和地理位置的统计数据，这有助于发现是否有代表性不足的亚群未被覆盖。数据来源也是一种元数据，它跟踪数据的来源和时间以及产生数据的过程和方法。 元数据可以保存在一个专门的数据设计文档里，数据文档对于观察数据的生命周期和社会技术背景来说非常重要。文档可以上传到稳定且集中的数据存储库（例如 Zenodo）中。