「扩散模型」首篇综述+论文分类汇总，谷歌&北大最新研究

最近爆火的“ 扩散模型 （diffusion model）”首篇综述来了！ 作为深度生成模型中新的 SOTA ，目前有关它的理论和实践还在“野蛮生长”阶段，缺乏系统性 的 回顾。 为了反映这一快速发展领域的进展，这篇综述从 扩散模型算法细化分类 、 和其他五大生成模型的关联 以及 在七大领域中的应用 等方面展开，最后提出了扩散模型的现有 局限性 和未来的 发展方向 。 作者是来自加州大学&Google Research的Ming-Hsuan Yang、北京大学崔斌实验室以及CMU、UCLA、蒙特利尔Mila研究院等众研究团队。 第一作者杨灵，是来自北京大学的博士。 有看过的专业人士就表示：很多被引用的论文都是2022年的，可见跟踪SOTA是多么困难，以及这些调查是多么重要。 值得一提的是，作者还公开了本综述扩散模型论文分类汇总GitHub链接。 （附在文末～） 话不多说，让我们赶紧来深入了解一下吧。

扩散模型 （diffusion models） 是深度生成模型中新的SOTA。 扩散模型在图片生成任务中超越了原SOTA：GAN，并且在诸多应用领域都有出色的表现，如计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化等。 此外，扩散模型与其他研究领域有着密切的联系，如稳健学习、表示学习、强化学习。 然而，原始的扩散模型也有缺点，它的采样速度慢，通常需要数千个评估步骤才能抽取一个样本；它的最大似然估计无法和基于似然的模型相比；它泛化到各种数据类型的能力较差。 如今很多研究已经从实际应用的角度解决上述限制做出了许多努力，或从理论角度对模型能力进行了分析。但是，现在仍缺乏对扩散模型从算法到应用的最新进展的系统回顾。 为了反映这一快速发展领域的进展，我们对扩散模型进行了 首个全面综述 。我们设想我们的工作将阐明扩散模型的设计考虑和先进方法，展示其在不同领域的应用，并指出未来的研究方向。 此综述的概要如下图所示： 尽管diffusion model在各类任务中都有着优秀的表现，它仍还有自己的缺点，并有诸多研究对diffusion model进行了改善。 为了系统地阐明diffusion model的研究进展，我们总结了原始扩散模型的三个主要缺点，采样速度慢，最大化似然差、数据泛化能力弱，并提出将的diffusion models改进研究分为对应的三类： 采样速度提升 、 最大似然增强 和 数据泛化增强 。 我们首先说明改善的动机，再根据方法的特性将每个改进方向的研究进一步细化分类，从而清楚地展现方法之间的联系与区别。 在此我们仅选取部分重要方法为例，我们的工作中对每类方法都做了详细的介绍，内容如图所示： 在分析完三类扩散模型后，我们将介绍 其他的五种生成模型 GAN，VAE，Autoregressive model，Normalizing flow，Energy-based model。 考虑到扩散模型的优良性质，研究者们已经根据其特性将diffusion model与其他生成模型结合，所以为了进一步展现diffusion model 的特点和改进工作，我们详细地介绍了diffusion model和其他生成模型的结合的工作并阐明了在原始生成模型上的改进之处。 Diffusion model在诸多领域都有着优异的表现，并且考虑到不同领域的应用中diffusion model产生了不同的变形，我们系统地介绍了diffusion model的应用研究，其中包含如下领域：计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化。 对于每个任务，我们定义了该任务并介绍利用扩散模型处理任务的工作， 我们将本项工作的主要贡献总结如下 ： 新的分类方法 ：我们对扩散模型和其应用提出了一种新的、系统的分类法。具体的我们将模型分为三类：采样速度增强、最大似然估计增强、数据泛化增强。 进一步地，我们将扩散模型的应用分为七类：计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化。 全面的回顾 ：我们首次全面地概述了现代扩散模型及其应用。我们展示了每种扩散模型的主要改进，和原始模型进行了必要的比较，并总结了相应的论文。 对于扩散模型的每种类型的应用，我们展示了扩散模型要解决的主要问题，并说明它们如何解决这些问题。 未来研究方向 ：我们对未来研究提出了开放型问题，并对扩散模型在算法和应用方面的未来发展提供了一些建议。