PyTorch（壹）：为什么pytorch在反向传播之前要把梯度清零（超详细）

一、为什么要进行梯度清零

        因为grad在反向传播的过程中是累加的，也就是说上一次反向传播的结果会对下一次的反向传播的结果造成影响，则意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需要把梯度清零。

        清零使用的方法是.grad.data.zero_()

二、代码实例

        下面我们通过代码来了解一下进行梯度清零和梯度不清零的结果

2.1数据准备工作：,

import torch
x=torch.ones(2,2,requires_grad=True)
print(x)
y=x+2
print(y)
z=y*y* 3
print(z)
out=z.mean()
print(out)
out.backward()#因为out是一个标量，所以调用backward（）时不需要指定求导变量
print(x.grad)

输出：

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)
tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>)
tensor(27., grad_fn=<MeanBackward0>)
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

2.2 方向传播中不把梯度清零的情况——>会累加

out2=x.sum()
out2.backward()
print(x.grad)

输出：

tensor([[5.5000, 5.5000],
        [5.5000, 5.5000]])
#答案并不是我们所需要的

2.3方向传播过程中把梯度清零

out2=x.sum()
x.grad.data.zero_()#梯度清零
out2.backward()
print(x.grad)

输出：

tensor([[1., 1.],
        [1., 1.]])
#答案正确