谷歌、MIT「迭代共同认证」视频问答模型：SOTA性能，算力少用80%

磐创AI分享

转自 | 磐创AI

编辑 |David

【导读】 谷歌、MIT联合研究，视频问答模型计算效率提升一倍。 视频是一种无处不在的媒体内容源，涉及到人们日常生活的许多方面。 越来越多的现实世界的视频应用，如视频字幕、内容分析和视频问答（VideoQA），都依赖于能够将视频内容与文本或自然语言联系起来的模型。

其中，视频问答模型尤其具有挑战性，因为它需要同时掌握语义信息，比如场景中的目标，以及时间信息，比如事物如何移动和互动。这两种信息都必须在拥有特定意图的自然语言问题的背景下进行。 此外，由于视频有许多帧，处理全部的帧来学习时空信息，可能在计算上成本过高。 论文链接： https://arxiv.org/pdf/2208.00934.pdf 为了解决这个问题，在「Video Question Answering with Iterative Video-Text Co-Tokenization」一文中，谷歌和MIT的研究人员介绍了一种视频-文本学习的新方法，称为「迭代共同标记」，能够有效地融合空间、时间和语言信息，用于视频问答的信息处理。 这种方法是多流的，用独立的骨干模型处理不同规模的视频，产生捕捉不同特征的视频表示，例如高空间分辨率或长时间的视频。 模型应用「共同认证」模块，从视频流与文本的融合中学习有效表示。模型计算效率很高，只需67GFLOPs，比以前的方法至少低了50%，同时比其他SOTA的模型有更好的性能。

视频-文本迭代

该模型的主要目标是从视频和文本（即用户问题）中产生特征，共同允许它们的相应输入进行互动。 第二个目标是以有效的方式做到这一点，这对视频来说非常重要，因为它们包含几十到几百帧的输入。

该模型学会了将视频-语言的联合输入标记为较小的标记集，以联合和有效地代表两种模式。在标记化时，研究人员使用两种模式来产生一个联合的紧凑表示，该表示被送入一个转换层以产生下一级的表示。 这里的一个挑战，也是跨模态学习中的典型问题，就是视频帧往往并不直接对应于相关的文本。研究人员通过增加两个可学习的线性层来解决这个问题，在标记化之前，统一视觉和文本特征维度。这样一来，研究人员就可以让视频和文本都能制约视频标记的学习方式。 此外，单一的标记化步骤不允许两种模式之间的进一步互动。为此，研究人员使用这个新的特征表示与视频输入特征互动，并产生另一组标记化的特征，然后将其送入下一个转化器层。 这个迭代过程中会创建新的特征或标记，表示对两种模式的联合表示的不断完善。最后，这些特征被输入到生成文本输出的解码器中。 按照视频质量评估的惯例，在对个别视频质量评估数据集进行微调之前，研究人员对模型进行预训练。 在这项工作中，研究人员使用基于语音识别的文本自动注释的视频，使用HowTo100M数据集，而不是在大型VideoQA数据集上预训练。这种较弱的预训练数据仍然使研究人员的模型能够学习视频-文本特征。