欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Task01:线性回归;Softmax与分类模型、多层感知机

程序员文章站 2022-06-27 10:37:07
...

1.线性回归

线性回归输出是⼀个连续值,因此适⽤于回归问题。回归问题在实际中很常见,如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同,分类问题中模型的最终输出是⼀个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。

在学习线性回归中,遇见的主要问题如下:

读取数据集

其中yield的用法

def data_iter(batch_size, features, labels):
    num_examples = len(features)
    indices = list(range(num_examples))
    random.shuffle(indices)  # random read 10 samples对数据集打断随机读取
    for i in range(0, num_examples, batch_size): #取i到i+batch_size
        j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # the last time may be not enough for a whole batch
        yield  features.index_select(0, j), labels.index_select(0, j) #yield相当于return,但是每次都会从上次停止的地方开始

定义损失函数

其中view()的用法

def squared_loss(y_hat, y): 
    #使用view()改变tensor形状,view()返回的新tensor与源tensor共享内存
    return (y_hat - y.view(y_hat.size())) ** 2 / 2#需要将真实y便形成y_hat的形状

2.softmax和分类模型

前几节介绍的线性回归模型适⽤于输出为连续值的情景。在另⼀类情景中,模型输出可以是⼀个像图像类别这样的离散值。对于这样的离散值预测问题,我们可以使用诸如softmax回归在内的分类模型。和线性回归不同,softmax回归的输出单元从⼀个变成了多个,且引⼊了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例,介绍神经⽹络中的分类模型。

其中遇见的问题如下:

定义损失函数

y_hat = torch.tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]]) #2个样本在3个类别的预测概率
y = torch.LongTensor([0, 2])#标签类别
#gather(input,dim,index) dim:0-按列,1-按行; index:索引,若dim=0,则按行,dim=1则按列;
#这里index=[0,2],第一行第0个元素:0.1 第二行第2个元素:0.5
y_hat.gather(1, y.view(-1, 1))

3.多层感知机

我们已经介绍了包括线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念。

课后习题主要需要计算权重矩阵的元素个数,若隐藏层为1,包含h个单元,输入为d个样本,输出为p类,则权重个数为:dh+hp