GAN眼中的图像翻译(附神奇歌单)
这是一篇总结文,总结我看过的几篇用GAN做图像翻译的文章的“套路”。 首先,什么是图像翻译? 为了说清楚这个问题,下面我给出一个不严谨的形式化定义。我们先来看两个概念。第一个概念是图像内容(content),它是图像的固有内容,是区分不同图像的依据。第二个概念是图像域(domain),域内的图像可以认为是图像内容被赋予了某些相同的属性。举个例子,我们看到一张猫的图片,图像内容就是那只特定的喵,如果我们给图像赋予彩色,就得到了现实中看到的喵;如果给那张图像赋予铅笔画属性,就得到了一只“铅笔喵”。喵~ 图像翻译是指图像内容从一个域迁移到另一个域,可以看成是图像移除一个域的属性,然后赋予另一个域的属性。我们用和来表示域和域的图像,图像翻译任务即可以定义为,寻找一个合适的变换使得 当然,还有一种图像翻译,在翻译的时候会把图像内容也换掉,下面介绍的方法也适用于这种翻译,这种翻译除了研究图像属性的变化,还可以研究图像内容的变化,在这里就不做讨论了。 常见的GAN图像翻译方法 下面简单总结几种GAN的图像翻译方法。 pix2pix 简单来说,它就是跟cGAN。Generator的输入不再是noise...