欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

[Pytorch] loss

程序员文章站 2022-05-27 09:39:34
...

loss参数探究

以torch.nn.MSELoss为例。假设过两个全连接层,并指定网络层参数,weight = 1,bias =0.5。Input: (N, n),N表示BatcSize,n表示每个样本有n个点

import torch

class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.f = torch.nn.Sequential(torch.nn.Linear(3, 10),
                                  torch.nn.ReLU(),
                                  torch.nn.Linear(10, 3))
    def forward(self, input):
        output = self.f(input)
        return output

net = Net()
net.f[0].weight.data = torch.ones([10,3])
net.f[0].bias.data = torch.ones([10]) + 0.5

net.f[2].weight.data = torch.ones([3,10])
net.f[2].bias.data = torch.ones([3]) + 0.5

x = torch.tensor([[1.,2.,3.],
                 [4.,5.,6.]])
y = x * x

y_ = net(x)
print(y_)
criterion = torch.nn.MSELoss(reduction='mean')
loss = criterion(y, y_)
print(loss)

在定义torch.nn.MSELoss时有三项可选择输入:
最重要的是reduction

  1. reduction默认‘mean’。假设输入每个Batch有N个样本,每个样本有n个点。‘mean’的含义是对N*n个点分别计算loss,然后求平均。
  2. 类似的,也可以选择‘sum’。
  3. 还有一个选项‘None’,直接把N*n个点的loss输出

还有Pytorch官方不建议使用的两项size_average和reduce

  1. 如果 reduce = False,那么 size_average 参数失效,直接返回向量形式的 loss
  2. 如果 reduce = True,那么 loss 返回的是标量
    (1). 如果 size_average = True,返回 loss.mean()
    (2). 如果 size_average = False,返回 loss.sum()
  3. 默认情况下, reduce = True,size_average = True

什么意思?reduce=True,输出的只是一个数,这个数默认按size_average = True的方式(求平均),也可以选size_average = False(求和)。reduce=Flase,返回把N*n个点的loss,等效于reduction=‘None’