[Pytorch] loss
程序员文章站
2022-05-27 09:39:34
...
loss参数探究
以torch.nn.MSELoss为例。假设过两个全连接层,并指定网络层参数,weight = 1,bias =0.5。Input: (N, n),N表示BatcSize,n表示每个样本有n个点
import torch
class Net(torch.nn.Module):
def __init__(self):
super(Net, self).__init__()
self.f = torch.nn.Sequential(torch.nn.Linear(3, 10),
torch.nn.ReLU(),
torch.nn.Linear(10, 3))
def forward(self, input):
output = self.f(input)
return output
net = Net()
net.f[0].weight.data = torch.ones([10,3])
net.f[0].bias.data = torch.ones([10]) + 0.5
net.f[2].weight.data = torch.ones([3,10])
net.f[2].bias.data = torch.ones([3]) + 0.5
x = torch.tensor([[1.,2.,3.],
[4.,5.,6.]])
y = x * x
y_ = net(x)
print(y_)
criterion = torch.nn.MSELoss(reduction='mean')
loss = criterion(y, y_)
print(loss)
在定义torch.nn.MSELoss时有三项可选择输入:
最重要的是reduction
- reduction默认‘mean’。假设输入每个Batch有N个样本,每个样本有n个点。‘mean’的含义是对N*n个点分别计算loss,然后求平均。
- 类似的,也可以选择‘sum’。
- 还有一个选项‘None’,直接把N*n个点的loss输出
还有Pytorch官方不建议使用的两项size_average和reduce
- 如果 reduce = False,那么 size_average 参数失效,直接返回向量形式的 loss
- 如果 reduce = True,那么 loss 返回的是标量
(1). 如果 size_average = True,返回 loss.mean()
(2). 如果 size_average = False,返回 loss.sum() - 默认情况下, reduce = True,size_average = True
什么意思?reduce=True,输出的只是一个数,这个数默认按size_average = True的方式(求平均),也可以选size_average = False(求和)。reduce=Flase,返回把N*n个点的loss,等效于reduction=‘None’
上一篇: Smarty缓存技术总结