SRDGAN: learning the noise prior for Super Resolution with Dual Generative Adversarial Networks

这篇论文偏重于应用性， 手机上的大多数相机都支持1x-10x变焦级别的变化。 然而，利用光学变焦实现大的变焦级别变化是不现实的.. 因此，数字变焦方法在智能手机中得到了广泛的应用，这篇论文探讨了如何将手机拍出的图片的进行超分，现行超分辨率网络无法应用于移动设备，主要是因为现行超分网络大多使用DIV2K制作数据集，而利用DIV2k下采样制作的低分辨率图片极为不符合现实的图像的分布规律，缺少与真实手机拍摄的低分辨率图像一致的噪声和与模糊核，这篇文章对如何生成与手机低分辨率图像一致的噪声并用于升分辨率的网络训练进行分析。

首先本文提出了三种生成真实的手机拍摄的低分辨率图片的数据集的方法：①Ipair= {HRc, HRn}，图像在Ipair中的分辨率为4032×3024，它包含447对图像，随机分为训练、验证和测试集，分别为400、27和20。其中的HRN就是我们在正常情况下用手机（此处论文特指出用黑莓手机拍摄）拍摄出的含噪声的高分辨率图片，HRC为手机拍摄的经过降噪处理的高分辨率图片，此处降噪方式为多帧降噪（所谓多帧降噪就是在夜景或者暗光环境下，相机在按快门到成像的时候会采集多张/多帧照片或者影像，在不同的帧数下找到不同的带有噪点性质的像素点，通过加权合成后得到一张较为干净、纯净的夜景或者暗光照片），LRN为从HRN中下采样得到的，用LRN与HRC生成图像对②In，用黑莓手机捕获与①数据集中不一样图像的同等分辨率（4032*3024）的含噪声真实图片，后随机裁剪到LRN的大小③GMSR，用①和②生成的用于训练这篇论文上采样网络的数据集。

该论文得总体模型为两个预训练的网络H2L、L2H，其中H2L的作用为生成用于训练超分网络使用的模拟真实手机拍摄下的LR-HR的数据集GMSR(因此在初始处将随机噪声N与经过去噪后的手机拍摄的HR图片一起输入来下采样模拟出真实的手机拍摄的低分辨率含噪声的图像），而L2H的作用为超分网络，在H2L中一个resblock中有两个卷积和两个**函数，最后一个卷积为了降低图像尺寸。在L2H中每个RRDB中含三个RDB

训练过程：对于H2L的训练主要为了利用制作好的数据集①②来制作出真实条件下手机拍摄的低分辨率含噪声图片与高清不含噪声的图片的图像对数据集GMSR，因此利用①中的HRC与随机噪声作为输入，经过H2L生成低分辨率图片，在此，先用HRN进行下采样生成LRN与LR作逐像素损失，保证LR尽量学习到第分辨下手机拍摄真实图片的噪声分布与图像分布，同时还考虑到使用手机拍摄的高分辨率含噪声的真实图像（HRN）进行下采样生成的LRN的噪声分布可能会与高分辨率图片的分布不太相同，因此在此引入了对抗损失，利用数据集②中经过随机裁剪得到的与LRN相同大小的但分布未被破坏的低分辨率图片与生成的LR作对抗损失从而约束生成的LR图片的噪声分布尽量保持与手机拍摄下的真实图片噪声分布一致，从而生成用于训练超分网络的SRC-LR图像对。

逐像素损失未采用常见的L1而是使用了2范数的平方作损失，使其更具约束力

常见的感知损失，将图片输入到VGG中提取深层特征进行损失约束，有利于视觉效果和纹理细节的生成。

对抗损失迫使生成器尽量去欺骗鉴别器从而缩小LR与手机拍摄的低分辨率含噪声图片的分布差异，使LR更逼近真实的手机拍摄的图片。
对抗网络就是一个迭代训练的过程鉴别器利用交叉熵损失约束输入的合成图片逼近0，真实图像逼近1，后利用生成器生成的图片输入鉴别器并令其尽量逼近1来改变图像分布向能欺骗鉴别器的方向进行拟合，从而使合成图片与真实图片越来越相似。以此来交替迭代训练，从而构成对抗网络。
在此之后利用H2L训练出的LR-HRC的数据集来训练超分网络L2H，原理与损失函数与H2L类似不过此处对抗损失是为了使生成的高分辨率图像分布更接近与真实手机拍摄的去噪后的图像分布。