DSGAN: Frequency Separation for Real-World Super-Resolution

[pdf]：https://arxiv.org/abs/1911.07850v1
[code]：github:https://github.com/ManuelFritsche/real-world-sr

winner of the AIM Challenge on Real World SR at ICCV 2019

Motivation

现在的大多数超分模型都是在通过已知下采样核得到的LR图像上进行训练，这样得到的模型对真实带有噪声的LR图像进行超分时，得到的结果往往不理想，如下图所示，用ESRGAN模型对带噪声的图像超分时，得到的结果往往会把噪声放大。

Method

分为两个过程，第一个过程主要目的在于生成和真实LR图像具有相同特征的LR图像，第二个过程将第一阶段形成的LR-HR pair 对以有监督的形式训练SR网络。

1、Downsampling with Domain Translation

文章提出了一个DSGAN网络，该网络的主要特点是把SR图像高低频信息进行分离，用不同的损失函数来监督网络以更好的生成与带噪声的真实LR图像具有相同特征的LR图像。

把HR图像$y$通过双三次下采样得到$x_b$作为网络的输入, 生成器$G_d$将$x_b$转换到域$z$中，得到的图像$x_d$。判别器用于判断图像是合成的LR图像$x_b$还是真实的LR图像$z$，为了让引入的真实图像特征不改变全局图像内容，只是作局部调整，使用了patch-based 判别器，它的结果返回一个二维数据，指出图像的某一块是真是假，最后结果取平均。

color loss：通过一个低频滤波器$w_{L,d}$，让$x_d$与$x_b$在低频信息上的保持一致，以保留图像的内容。

perceptual loss：使用的是VGG网络来提取特征。

GAN loss：使用高频滤波器$w_{H,d}$，让GAN loss只需关注于高频信息，因为color loss和perceptual loss已经让网络捕捉低频信息。

total loss:

2、Frequency Separation for Super-Resolution

根据DSGAN得到的LR图像$x_d$和对应的HR图像$y$对SR网络进行训练，SR网络采用的是ESRGAN，结构如下图所示：

作者用低通滤波器和低通滤波器将生成的SR图像的低频和高频信息分离，用col损失和感知损失关注图像内容的恢复，而GAN损失关注图像细节信息的恢复，降低网络训练难度。

color loss：

total loss:

（record by lqy)

本文地址：https://blog.csdn.net/sinat_34546154/article/details/112614765