Batch Normalization层

BN，全称Batch Normalization，在进行深度网络训练时，大都会采取这种算法。
原文链接：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

1、为什么使用归一化

首先来说归一化的问题，神经网络训练开始前，都要对数据做一个归一化处理，归一化有很多好处，原因是网络学习的过程的本质就是学习数据分布，一旦训练数据和测试数据的分布不同，那么网络的泛化能力就会大大降低，另外一方面，每一批次的数据分布如果不相同的话，那么网络就要在每次迭代的时候都去适应不同的分布，这样会大大降低网络的训练速度，这也就是为什么要对数据做一个归一化预处理的原因。另外对图片进行归一化处理还可以处理光照，对比度等影响。

另外，为什么要进行归一化还有一些原因，可以参考：https://zhuanlan.zhihu.com/p/27627299

 

2、为什么使用批量归一化

网络一旦训练起来，参数就要发生更新，除了输入层的数据外，其它层的数据分布是一直发生变化的，因为在训练的时候，网络参数的变化就会导致后面输入数据的分布变化，比如第二层输入，是由输入数据和第一层参数得到的，而第一层的参数随着训练一直变化，势必会引起第二层输入分布的改变，把这种改变称之为：Internal Covariate Shift，BN就是为了解决这个问题的。

 

3、BN

和卷积层，**层，全连接层一样，BN层也是属于网络中的一层。我们前面提到了，前面的层引起了数据分布的变化，这时候可能有一种思路是说：在每一层输入的时候，在加一个预处理多好。比如归一化到均值为0，方差为1，然后再送入输入进行学习。基本思路是这样的，然而实际上没有这么简单，如果我们只是使用简单的归一化方式：

对某一层的输入数据做归一化，然后送入网络的下一层，这样是会影响到本层网络所学习的特征的，比如网络中学习到的数据本来大部分分布在0的右边，经过RELU**函数以后大部分会被**，如果直接强制归一化，那么就会有大多数的数据无法**了，这样学习到的特征不就被破坏掉了么？论文中对上面的方法做了一些改进：变换重构，引入了可以学习的参数，这就是算法的关键之处：这两个希腊字母就是要学习的。

每一个神经元x_k都会有这样的一对参数（参数量大），当：

这样的时候可以恢复出原始的某一层学习到的特征的，因此我们引入这个可以学习的参数使得我们的网络可以恢复出原始网络所要学习的特征分布，最后BN层的前向传导公式为：

上面公式中的m指的是mini-batch size。也就是每一个batch来做一个这样的BN。代码对应也是四句话。

m = K.mean(X, axis=-1, keepdims=True)        #计算均值  
std = K.std(X, axis=-1, keepdims=True)           #计算标准差  
X_normed = (X - m) / (std + self.epsilon)         #归一化  
out = self.gamma * X_normed + self.beta           #重构变换  

 

4、BN在CNN上的使用

上面所说的是BN对于每一个神经元都做处理，对于卷积神经网络来说呢？比如某一层卷积层的维度是：1001006，如果对每一个神经元都进行BN的话，那就需要600万*2的参数，这是相当恐怖的，所以其实卷积神经网络使用BN的时候，也做了权重共享的策略，把一张特征图当做一个神经元来处理。

比如某层的特征维度是[m,f,p,q],分别是batch_num：m,维度: f，特征尺寸p,q。CNN中可把每个特征图看成是一个特征处理（神经元），因此在使用BN的时候，Mini-batch size的大小就是mpq，对于每一个特征图只有一对科学系的参数。说白了，就是相当于求所有样本（batch_num：m个）所对应的的一个特征图的所有神经元的平均值和方差，然后对这一个神经元做归一化，假设特征维度只有一维的话，就相当于一个batch的所有图片像素的均值和方差来对每一张图片来做归一化，也是容易理解的。