Pytorch 中的optimizer使用说明
与优化函数相关的部分在torch.optim模块中,其中包含了大部分现在已有的流行的优化方法。
如何使用optimizer
要想使用optimizer,需要创建一个optimizer 对象,这个对象会保存当前状态,并根据梯度更新参数。
怎样构造optimizer
要构造一个optimizer,需要使用一个用来包含所有参数(tensor形式)的iterable,把相关参数(如learning rate、weight decay等)装进去。
注意,如果想要使用.cuda()方法来将model移到gpu中,一定要确保这一步在构造optimizer之前。因为调用.cuda()之后,model里面的参数已经不是之前的参数了。
示例代码如下:
optimizer = optim.sgd(model.parameters(), lr = 0.01, momentum = 0.9) optimizer = optim.adam([var1, var2], lr = 0.0001)
常用参数
last_epoch代表上一次的epoch的值,初始值为-1。
单独指定参数
也可以用一个dict的iterable指定参数。这里的每个dict都必须要params这个key,params包含它所属的参数列表。除此之外的key必须它的optimizer(如sgd)里面有的参数。
you can still pass options as keyword arguments. they will be used as defaults, in the groups that didn't override them. this is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.
这在针对特定部分进行操作时很有用。比如只希望给指定的几个层单独设置学习率:
optim.sgd([ {'params': model.base.parameters()}, {'params': model.classifier.parameters(), 'lr': 0.001} ], lr = 0.01, momentum = 0.9)
在上面这段代码中model.base将会使用默认学习率0.01,而model.classifier的参数蒋欢使用0.001的学习率。
怎样进行单次优化
所有optimizer都实现了step()方法,调用这个方法可以更新参数,这个方法有以下两种使用方法:
optimizer.step()
多数optimizer里都可以这么做,每次用backward()这类的方法计算出了梯度后,就可以调用一次这个方法来更新参数。
示例程序:
for input, target in dataset: optimizer.zero_grad() ouput = model(input) loss = loss_fn(output, target) loss.backward() optimizer.step()
optimizer.step(closure)
有些优化算法会多次重新计算函数(比如conjugate gradient、lbfgs),这样的话你就要使用一个闭包(closure)来支持多次计算model的操作。
这个closure的运行过程是,清除梯度,计算loss,返回loss。
(这个我不太理解,因为这些优化算法不熟悉)
示例程序:
for input, target in dataset: def closure(): optimizer.zero_grad() output = model(input) loss = loss_fn(output, target) loss.backward() return loss optimizer.step(closure)
优化算法
这里就不完整介绍documentation中的内容了,只介绍基类。具体的算法的参数需要理解它们的原理才能明白,这个改天单独来一篇文章介绍。
optimizer
class torch.optim.optimizer(params, defaults)
这是所有optimizer的基类。
注意,各参数的顺序必须保证每次运行都一致。有些数据结构就不满足这个条件,比如dictionary的iterator和set。
参数
params(iterable)
是torch.tensor或者dict的iterable。这个参数指定了需要更新的tensor。
defaults(dict)
是一个dict,它包含了默认的的优化选项。
方法
add_param_group(param_group)
这个方法的作用是增加一个参数组,在fine tuning一个预训练的网络时有用。
load_state_dict(state_dict)
这个方法的作用是加载optimizer的状态。
state_dict()
获取一个optimizer的状态(一个dict)。
zero_grad()
方法用于清空梯度。
step(closure)
用于进行单次更新。
adam
class torch.optim.adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=false)
补充:pytorch里面的optimizer和optimizer.step()用法
当我们想指定每一层的学习率时:
optim.sgd([ {'params': model.base.parameters()}, {'params': model.classifier.parameters(), 'lr': 1e-3} ], lr=1e-2, momentum=0.9)
这意味着model.base的参数将会使用1e-2的学习率,model.classifier的参数将会使用1e-3的学习率,并且0.9的momentum将会被用于所有的参数。
进行单次优化
所有的optimizer都实现了step()方法,这个方法会更新所有的参数。它能按两种方式来使用:
optimizer.step()
这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后,我们就可以调用这个函数。
例子
for input, target in dataset: optimizer.zero_grad() output = model(input) loss = loss_fn(output, target) loss.backward() optimizer.step() optimizer.step(closure)
一些优化算法例如conjugate gradient和lbfgs需要重复多次计算函数,因此你需要传入一个闭包去允许它们重新计算你的模型。
这个闭包应当清空梯度,计算损失,然后返回。
例子:
for input, target in dataset: def closure(): optimizer.zero_grad() output = model(input) loss = loss_fn(output, target) loss.backward() return loss optimizer.step(closure)
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。
上一篇: 姜文代言!OPPO Find X3系列预热:影像升级
下一篇: 死磕 java同步系列之AQS起篇
推荐阅读
-
对pytorch中x = x.view(x.size(0), -1) 的理解说明
-
Pytorch 中的optimizer使用说明
-
Linux中目录的创建与删除命令使用说明
-
基于PyTorch中view的用法说明
-
PyTorch中设置学习率衰减的方法/torch.optim.lr_scheduler/learning_rate_decay
-
pytorch:torch.cuda中的函数
-
JS的框架Polymer中的dom-if和is属性使用说明
-
关于Pytorch中模型的保存与迁移问题
-
JavaScript中forEach、map、filter的使用说明及要点
-
C#中is,as,using关键字的使用说明