欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

PyTorch自动微分

程序员文章站 2022-07-12 23:02:31
...

autograd包是pytorch中所有升级网络的核心。autograd软件包为tensor上的所有操作提供自动微分。它是一个由运行定义的框架,这意味着以代码运行方式定义你的后向传播,并且每次迭代都可以不同。

TENSOR

跟踪

torch.Tensor是包的核心类。如果将其属性.requires_grad设置为True,则会开始跟踪针对tensor的所有操作。完成计算后,可以调用.backward()来自动计算所有梯度。该张量的梯度将累积到.grad属性中。

停止跟踪

停止tensor历史记录的跟踪,可以调用.detach(),它将其与技术历史记录分离,并防止将来的计算被跟踪。

要停止跟踪历史记录和使用内存,还可以将代码块使用with torch.no_grad():包装起来。在评估模型时,特别有用,因为模型在训练阶段具有requires_grad = True的可训练参数有利于调参,但在评估阶段我们不需要梯度。

FUNCTION

还有一个类对于autograd实现非常重要的,是Function。Tensor和Function互相连接并构建一个非循环图,它保存真个完整的计算过程的历史信息。每个张量都有一个.grad_fn属性保存着创建了张量的Function的引用。如果用户自己创建张量,则grad_fn是None。

如果计算导数,可以调用Tensor.backward()。如果tensor是标量(包含一个元素数据),则不需要制定任何参数backward(),但是如果它有更多的元素,则需要指定一个gradient参数来指定张量的形状。

例子

import torch

创建一个张量,设置requires_grad=True来跟踪与它相关的计算

x = torch.ones(2, 2, requires_grad=True)
print(x)

输出

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)

针对张量做一个操作

y = x + 2
print(y)

输出

tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)

y作为操作的结果被创建,所以它有grad_fn

print(y.grad_fn)

输出

<AddBackward0 object at 0x7fe1db427470>

针对y做更多的操作

z = y * y * 3
out = z.mean()
print(z, out)

输出

tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)

.requires_grad_(…)会改变张量的requires_grad标记。输入的标记默认为False,如果没有提供相应的参数。

a = torch.randn(2, 2)
a = ((a * 3)/(a -1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a*a).sum()
print(b.grad_fn)

输出

False
True
<SumBackward0 object at 0x7fe1db427dd8>

梯度

现在后向传播,因为输出包含了一个标量,out.backward()等同于out.backward(torch.tensor(1.))

out.backward()

打印梯度d(out)/dx

print(x.grad)

输出

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

雅可比例子

x = torch.randn(3, requires_grad=True)

y = x*2
while y.data.norm()<1000:
    y = y*2

print(y)

输出

tensor([ -444.6791,   762.9810, -1690.0941], grad_fn=<MulBackward0>)

现在在这种情况下,y不再是一个标量。torch.autograd不能够直接计算整个雅可比,但是如果我们只要雅可比向量积,只需要简单的传递向量给backward作为参数

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)

print(x.grad)

输出

tensor([1.0240e+02, 1.0240e+03, 1.0240e-01])

停止跟踪例子

可以通过将代码包裹在with torch.no_grad(),来停止对从跟踪历史中的.requires_grad=True的张量自动求导。

print(x.requires_grad)
print((x**2).requires_grad)

with torch.no_grad():
    print((x**2).requires_grad)

输出

True
True
False

更详细的可以访问: https://pytorch.org/docs/autograd

相关标签: 机器学习