通过生成表征的自条件图像生成

通过生成表征的自条件图像生成

摘要

.03701.pdf
本文提出了表示条件图像生成（Representation-Conditioned Image Generation，简称RCG），这是一个简单而有效的图像生成框架，在类别无条件的图像生成中设置了新的基准。RCG不依赖于任何人类标注，而是依赖于一种自监督表示分布，该分布是使用预训练编码器从图像分布中映射出来的。在生成过程中，RCG使用表示扩散模型（Representation Diffusion Model，简称RDM）从这样的表示分布中进行采样，并使用像素生成器根据采样的表示来生成图像像素。这样的设计在生成过程中提供了大量的指导，从而实现了高质量的图像生成。在ImageNet 256×256上进行测试，RCG实现了3.31的Frechet Inception距离（FID）和253.4的Inception分数（IS）。这些结果不仅显著提高了类别无条件图像生成的最新技术水平，而且与当前领先的类别条件图像生成方法相媲美，缩小了这两项任务之间长期存在的性能差距。代码可在。

1、简介

近年来，条件图像生成取得了令人瞩目的成果，利用类别标签或文本描述等人类标注来指导生成过程[11,12,18,22,47,51]。相比之下，省略这种条件元素的无条件图像生成历来是一项更具挑战性的任务，往往产生的效果不那么令人印象深刻[3,18,19,39,43]。

这种二分法与监督学习和无监督学习之间的二分法相似。从历史上看，无监督学习在性能上落后于监督学习。随着自监督学习（SSL）的出现，这一差距有所缩小，它从