Deep Learning 系列（2）：NN（神经网络）及反向传播算法

前一章介绍了Deep Learning 中DBN算法（DL 系列一），发现当参数W经过stacked RBM 后，还需要Supervised Learning，即NN来优化参数。然而 怎样去优化呢？ 参见 UFLDL教程之神经网络与反向传导算法，以及 Dark_Scope 的NN代码解读。 本章将结合DBN与NN的算法

前一章介绍了Deep Learning 中DBN算法（DL 系列一），发现当参数W经过stacked RBM 后，还需要Supervised Learning，即NN来优化参数。然而怎样去优化呢？

参见 UFLDL教程之神经网络与反向传导算法，以及Dark_Scope 的NN代码解读。

本章将结合DBN与NN的算法推导以及代码，针对重点作讲解。

代码下载：DeepLearnToolbox

当DBN每一层训练完后，参数将传给NN作监督学习。见\DBN\dbnunfoldtonn.m

具体批量梯度下降法见：

\NN\nntrain.m 其中code：44-58

   for l = 1 : numbatches
        batch_x = train_x(kk((l - 1) * batchsize + 1 : l * batchsize), :);
        
        %Add noise to input (for use in denoising autoencoder)
        if(nn.inputZeroMaskedFraction ~= 0)
            batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction);
        end
        
        batch_y = train_y(kk((l - 1) * batchsize + 1 : l * batchsize), :);
        
        nn = nnff(nn, batch_x, batch_y);
        nn = nnbp(nn);
        nn = nnapplygrads(nn);
        
        L(n) = nn.L;
        
        n = n + 1;
    end

参数更新为l=1：numbatches，（关于批量梯度下降可参见：机器学习系列一）

L（n）为n次迭代中，每次batchsize个样本残差和。

关于梯度下降法，在UFLDL中有介绍更快的算法L-BFGS和共轭梯度算法，寻找 代价函数 最小化时 的值。

参考文献：

1. UFLDL Tutorial

2. Dark 的博客

3. RBM tutorial （可见RBM以及DBN的推导，NN参数优化）

注：持续更新中。。。。