图像生成领域,技术的进步不断推动着虚拟现实等应用的发展。最近,三星研究院提出了一种基于自回归建模的新方法,旨在提升图像生成的保真度和可扩展性。与传统的一次性生成整个场景的方法不同,该方法采用了逐步添加细节的策略,使图像的生成过程更符合人类的创作习惯。

这一新方法的核心在于将图像生成分为 “基础” 与 “细节” 两个层次,首先生成一个平滑的基础图像,再通过迭代的方式逐步添加细节,最终形成一个连贯的高质量图像。研究团队强调,这种分层组合的策略比传统方法更有效,特别是在处理高分辨率图像时,它具有更好的可扩展性,且不需要对整个模型进行重新训练。

三星研究院推出新型自回归 Transformer,助力高分辨率图像生成

在自回归模型的学习过程中,图像标记的处理顺序对生成结果有着重要影响。三星的研究团队通过创新性地使用边缘感知平滑技术,将训练图像分解为不同的细层次,从而实现了对细节的增量控制。这种方法与人类艺术创作的过程相似艺术家往往从草图开始,逐步完善形状与细节。

该模型的训练包括三个主要步骤:首先将每个训练图像分解为多个层次的基本细节因素;接着,利用矢量量化变分自编码器(VQ-VAE)对这些因素进行编码,确保在降低维数的同时保留图像的关键特征;最后,采用 Transformer 解码器架构进行细节因素的迭代预测,从而实现图像细节的可控和逐步添加。

三星研究院推出新型自回归 Transformer,助力高分辨率图像生成

实验结果表明,该方法不仅在图像生成质量上达到了最先进的水平,还有效降低了与高分辨率输出相关的计算复杂性。这一创新的自回归图像生成框架,为扩散模型及其他技术提供了一个有力的替代方案,展示了未来图像生成技术的广阔前景。