cs231n assignment1 Q4 softmax梯度推导

本文推导了斯坦福课程cs231n（2017）assignment1 Q4的反向传播梯度

网络结构为
输入–全连接层–ReLU–全连接层–softmax
X−H=XW1+b1−R=max(0,H)−F=RW2+b2−softmax$X-H=X{W}_1+b_1-R=max(\mathbf{\text{0}},H)-F=R{W}_2+b_2-\text{softmax}$
其中,X$X$为输入，每一行表示一个样本，W1，W2$W_1，W_2$分别为第一和第二连接层的权重，b1，b2$b_1，b_2$分别为第一和第二连接层的偏置。F$F$为第二连接层的输出（score）。
首先定义损失函数,对于每个训练样本，损失函数定义如下

Li=−log(eFi,yi∑jeFi,j).$$L_i=-\log (\frac{{\mathrm{e}}^{F_{i,y_i}}}{\sum _j{\mathrm{e}}^{F_{i,j}}}).$$

总的损失函数为所有样本损失函数的均值加上正则项

L=1N∑iLi+λ(∑k∑lW21kl+∑k∑lW22kl).$$L=\frac{1}{N}\sum _i{L}_i+\lambda (\sum _k\sum _l{W}_{1_{kl}}^2+\sum _k\sum _l{W}_{2_{kl}}^2).$$

记

pi,k=eFi,k∑jeFi,j.$$p_{i,k}=\frac{{\mathrm{e}}^{F_{i,k}}}{\sum _j{\mathrm{e}}^{F_{i,j}}}.$$

则

Li=−log(pi,yi).$$L_i=-\log (p_{i,y_i}).$$

对Li$L_i$求导，得

∂Li∂Fj,k={pj,k−1⋅[yi==k],0,j=i,j≠i.(138)$$\begin{array}{}\text{(138)}& \frac{\mathrm{\partial }{L}_i}{\mathrm{\partial }{F}_{j,k}}=\{\begin{array}{lr}{p}_{j,k}-\mathbf{\text{1}}\cdot [y_i==k],& j=i,\\ 0,& j\ne i.\end{array}\end{array}$$

写成矩阵形式，我们得到

∂L∂F=1N(P−M).$$\frac{\mathrm{\partial }L}{\mathrm{\partial }F}=\frac{1}{N}(P-M).$$

其中P(i,j)=pi,j,M$P(i,j)=p_{i,j},M$为mask矩阵，即第i$i$行的yi$y_i$个元素为1，其余为0。Python代码如下

dscores = probs
dscores[range(num_examples),y] -= 1
dscores /= num_examples

接下来要算∂F∂W2$\frac{\mathrm{\partial }F}{\mathrm{\partial }{W}_2}$。因为F,W2$F,W_2$均为矩阵，该偏导应该是一个四维向量，但包含大量0，展开计算后可得

∂Fa,b∂W2i,j={Ra,i,0,j=b,j≠b.(134)$$\begin{array}{}\text{(134)}& \frac{\mathrm{\partial }{F}_{a,b}}{\mathrm{\partial }{W}_{2_{i,j}}}=\{\begin{array}{lr}{R}_{a,i},& j=b,\\ 0,& j\ne b.\end{array}\end{array}$$

（这一步如果不清楚的话把Fa,b$F_{a,b}$展开来写就好，参见Vector, Matrix, and Tensor Derivatives）
我们通过计算分量来探究∂L∂W2$\frac{\mathrm{\partial }L}{\mathrm{\partial }{W}_2}$的矩阵计算表达式。

∂L∂W2m,n=∑i,j∂L∂Fi,j∂Fi,j∂W2m,n+2λW2m,n=∑i∂L∂Fi,n∂Fi,n∂W2m,n+2λW2m,n=∑i∂L∂Fi,nRi,m+2λW2m,n.$$\begin{array}{rl}\frac{\mathrm{\partial }L}{\mathrm{\partial }{W}_{2_{m,n}}}& =\sum _{i,j}\frac{\mathrm{\partial }L}{\mathrm{\partial }{F}_{i,j}}\frac{\mathrm{\partial }{F}_{i,j}}{\mathrm{\partial }{W}_{2_{m,n}}}+2\lambda W_{2_{m,n}}\\ & =\sum _i\frac{\mathrm{\partial }L}{\mathrm{\partial }{F}_{i,n}}\frac{\mathrm{\partial }{F}_{i,n}}{\mathrm{\partial }{W}_{2_{m,n}}}+2\lambda W_{2_{m,n}}\\ & =\sum _i\frac{\mathrm{\partial }L}{\mathrm{\partial }{F}_{i,n}}{R}_{i,m}+2\lambda W_{2_{m,n}}.\end{array}$$

上式中的Σ$\mathrm{\Sigma }$求和项可看作矩阵RT$R^T$的第m$m$行乘矩阵∂L∂F$\frac{\mathrm{\partial }L}{\mathrm{\partial }F}$的第n$n$列，故矩阵∂L∂W2$\frac{\mathrm{\partial }L}{\mathrm{\partial }{W}_2}$可表示为

∂L∂W2=RT∂L∂F+2λW2$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{W}_2}=R^T\frac{\mathrm{\partial }L}{\mathrm{\partial }F}+2\lambda W_2$$

类似地，我们可以求得b2$b_2$的导数，注意这里b2$b_2$应该是一个矩阵而非向量（因为要和矩阵RW2$R{W}_2$相加）。

∂L∂b2m,n=∑i,j∂L∂Fi,j∂Fi,j∂b2m,n=∂L∂Fm,n.$$\begin{array}{rl}\frac{\mathrm{\partial }L}{\mathrm{\partial }{b}_{2_{m,n}}}& =\sum _{i,j}\frac{\mathrm{\partial }L}{\mathrm{\partial }{F}_{i,j}}\frac{\mathrm{\partial }{F}_{i,j}}{\mathrm{\partial }{b}_{2_{m,n}}}\\ & =\frac{\mathrm{\partial }L}{\mathrm{\partial }{F}_{m,n}}.\end{array}$$

这里得到的结果和cs231n官方笔记中得到的不同，我没有想明白这一步。笔记中的结果如下代码所示

db = np.sum(dscores, axis=0, keepdims=True)

完全类似于∂L∂W2$\frac{\mathrm{\partial }L}{\mathrm{\partial }{W}_2}$的推导过程，我们可以得到矩阵R$R$的梯度

∂L∂R=∂L∂FWT2.$$\begin{array}{rl}& \frac{\mathrm{\partial }L}{\mathrm{\partial }R}=\frac{\mathrm{\partial }L}{\mathrm{\partial }F}{W}_2^T.\end{array}$$

注意到H=XW1+b1$H=X{W}_1+b_1$和R=max(0,H)$R=max(0,H)$，我们可以进一步得到W1$W_1$的梯度

∂L∂H=max(0,∂L∂R),∂L∂W1=XT∂L∂H+2λW1.$$\frac{\mathrm{\partial }L}{\mathrm{\partial }H}=max(0,\frac{\mathrm{\partial }L}{\mathrm{\partial }R}),\frac{\mathrm{\partial }L}{\mathrm{\partial }{W}_1}=X^T\frac{\mathrm{\partial }L}{\mathrm{\partial }H}+2\lambda W_1.$$

参考资料：
cs231n官方笔记
cs231n - assignment1 - softmax 梯度推导
Vector, Matrix, and Tensor Derivatives