二、pytorch核心概念:2.自动微分机制
程序员文章站
2022-07-12 23:15:08
...
本博客是阅读eat pytorch in 20 day第二章的个人笔记
自动微分机制
1. 利用backward方法求导数
backward方法求梯度,梯度结果存在变量的grad属性下。因变量需要是标量,如果计算结果不是标量,需要点乘一个同样大小的全1矩阵变成标量,需要把这个矩阵传入到backward里面。
y.backward()# y是标量
y.backward(gradient = gradient)# y是非标量
#也可以先计算成标量,再backward
z = torch.sum(y*gradient)
z.backward()
2. 利用autograd.grad方法求导数
torch.autograd.grad(outputs,inputs,grad_outputs,retain_graph,create_graph,olny_inputs,allow_unused)
首先,输出的结果是一个元组。参数分别表示:输出,输入,如果输出不是标量则grad_outputs需要是一个和输出一样的全1矩阵,retain_graph保留计算图,create_graph=True用来计算二阶导数。
下一篇: 枚举类型