论文笔记--CSGAN: Cyclic-Synthesized Generative Adversarial Networks for Image-to-Image Transformation

CSGAN: Cyclic-Synthesized Generative Adversarial Networks for Image-to-Image Transformation

用于图像到图像转换的周期-合成GAN

摘要：图像到图像变换的主要目的是将一个域的图像转换为另一个域。大部分的研究都集中在一组预定义域的图像变换问题上。很少有研究报告为不同领域的图像到图像转换开发了一个通用的框架。随着生成对抗网络(GANs)作为图像生成问题的总体框架的引入，图像到图像的转换领域出现了巨大的增长。目前的研究主要集中在图像到图像变换的目标函数的选择上。本文提出了一种新的周期合成生成对抗网络(CSGAN)用于图像到图像的变换。该算法在一个域合成图像和另一个域循环图像之间使用了一种新的目标函数循环合成损失(CS)。我们在两个基准的影像到影像转换数据集(包括中大人脸数据集和CMP正面数据集)上评估所提出的CSGAN的效能。结果计算使用广泛使用的评价指标，如MSE, SSIM,PSNR，和LPIPS。将该方法的实验结果与GAN、Pix2Pix、DualGAN、CycleGAN和PS2GAN等最新方法进行了比较。所建议的CSGAN技术在中大数据集上优于所有的方法，并在立面数据集上显示出有前途和可比较的性能，无论是在定性和定量措施。

1.引言

image-to-image transformation的概念、相关工作、GAN、Pix2Pix、DualGAN、CycleGAN和PS2GAN等介绍。

本文贡献：

我们提出了一种新的损失函数循环合成损失(CS loss)，它可以在降低伪影的情况下提高结果的质量。

•我们提出了基于CS loss的图像到图像转换的CSGAN架构。

•我们在两个基准数据集上评估了我们的方法和基线图像质量评估指标，与最先进的方法相比，我们的方法表现出更好/可比较的性能。

2.CSGAN的提出

在本节中，我们首先描述问题公式Proposed Cyclic-Synthesized Loss ，然后描述所提出的方法及其目标函数CSGAN Objective Function(Adversarial Loss/Cycle-consistency Loss)。然后，详细讨论了生成器和鉴别器的结构。

用于图像到图像转换的CSGAN的网络架构。利用合成图像和循环图像在图像两个域中的关系，提出了周期合成损失算法。因此，除了对抗性损失和周期一致性损失外，我们还使用周期综合损失来训练网络。对抗性损失用蓝色矩形表示，该矩形在1)生成器GAB和鉴别器DB之间，2)生成器GBA和鉴别器DA之间计算。循环一致性损失用黑色表示，计算为真实图像和循环图像之间的L1 loss。循环合成的loss用红色表示，并计算为合成图像和循环图像之间的L1loss。

生成器：

判别器：

 

本文地址：https://blog.csdn.net/OpenSceneGraph/article/details/108865548