华为天才少年谢凌曦：关于视觉识别领域发展的个人观点

作者：谢凌曦 编辑：桃子

【导读】 计算机视觉识别领域的发展如何？华为天才少年谢凌曦分享了万字长文，阐述了个人对其的看法。

最近，我参加了几个高强度的学术活动，包括CCF计算机视觉专委会的闭门研讨会和VALSE线下大会。经过与其他学者的交流，我产生了许多想法，千头万绪，便希望把它们整理下来，供自己和同行们参考。当然，受限于个人的水平和研究范围，文章中一定会存在许多不准确甚至错误的地方，当然也不可能覆盖所有重要的研究方向。我期待与有兴趣的学者们进行交流，以充实这些观点，更好地探讨未来发展方向。 在这篇文章中，我将会着重分析计算机视觉领域，特别是视觉感知（即识别）方向所面临的困难和潜在的研究方向。 相较于针对具体算法的细节改进，我更希望探讨当前算法（尤其是基于深度学习的预训练+微调范式）的局限性和瓶颈，并且由此得出初步的发展性结论，包括哪些问题是重要的、哪些问题是不重要的、哪些方向值得推进、哪些方向的性价比较低等。 在开始之前，我先画出如下思维导图。为了寻找合适的切入点，我将从计算机视觉和自然语言处理（人工智能中两个最受关注的研究方向）的区别开始谈起，引出图像信号的三个根本性质：信息稀疏性、域间差异性、无限粒度性，并将它们与几个重要的研究方向相对应。这样，我们就能更好地了解每个研究方向所处的状态：它已经解决了哪些问题、还有哪些重要的问题没有解决，然后针对性地分析今后的发展趋势。 导图：CV和NLP的差异、CV三大挑战及应对方法

CV的三大基本困难和对应的研究方向

一直以来，NLP都走在CV的前面。不论是深度神经网络超越手工方法，还是预训练大模型开始出现大一统的趋势，这些事情都先发生在NLP领域，并在不久之后被搬运到了CV领域。这里的本质原因是NLP的起点更高：自然语言的基础单元是单词，而图像的基础单元是像素；前者具有天然的语义信息，而后者未必能够表达语义。 从根本上说，自然语言是人类创造出来，用于存储知识和交流信息的载体，所以必然具有高效和信息密度高的特性；而图像则是人类通过各种传感器捕捉的光学信号，它能够客观地反映真实情况，但相应地就不具有强语义，且信息密度可能很低。

从另一个角度看，图像空间比文本空间要大得多，空间的结构也要复杂得多。这就意味着，如果希望在空间中采样大量样本，并且用这些数据来表征整个空间的分布，采样的图像数据就要比采样的文本数据大许多个数量级。顺带一提，这也是为什么自然语言预训练模型比视觉预训练模型用得更好的本质原因——我们在后面还会提到这一点。