欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

二、pytorch核心概念:2.自动微分机制

程序员文章站 2022-07-12 23:15:08
...

本博客是阅读eat pytorch in 20 day第二章的个人笔记

自动微分机制

1. 利用backward方法求导数
backward方法求梯度,梯度结果存在变量的grad属性下。因变量需要是标量,如果计算结果不是标量,需要点乘一个同样大小的全1矩阵变成标量,需要把这个矩阵传入到backward里面。

y.backward()#  y是标量
y.backward(gradient = gradient)# y是非标量
#也可以先计算成标量,再backward
z = torch.sum(y*gradient)
z.backward()

2. 利用autograd.grad方法求导数

torch.autograd.grad(outputs,inputs,grad_outputs,retain_graph,create_graph,olny_inputs,allow_unused)

首先,输出的结果是一个元组。参数分别表示:输出,输入,如果输出不是标量则grad_outputs需要是一个和输出一样的全1矩阵,retain_graph保留计算图,create_graph=True用来计算二阶导数。