欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

《Pytorch - 逻辑回归模型》

程序员文章站 2022-07-06 10:18:05
...

2020年10月4号,依然在家学习。
今天是我写的第二个 Pytorch程序,从今天起也算是入门了。
这里是简单的实现了逻辑回归开始。

回顾线性回归,线性模型如下 y = wx + b,图画的丑了,意思到了就行。
《Pytorch - 逻辑回归模型》

回顾逻辑回归,线性模型如下 y =σ(wx + b) ,图画的丑了,意思到了就行。
《Pytorch - 逻辑回归模型》

也就是逻辑回归其实就是在之前的线性回归的基础上增加了一个 sigmoid函数层。而且误差损失函数也会发生变化,需要使用二分类的误差损失函数,具体细节在很早的博文机器学习里面有介绍,这里就不多赘述了。

话不多说,我就直接上代码实例描述,代码的注释我都是用中文直接写的。

import torch
import torch.nn.functional as F

# Step 1: ========创建模型========
# 定义一个类,继承自 torch.nn.Module,torch.nn.Module是callable的类
# 在整个类里面重新定义一个逻辑回归模型 y = sigmod(wx+b),也可以理解成内置一个线性层。
# 整个子类需要重写forward函数,
class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        # 调用父类的初始化函数,必须要的
        super(LogisticRegressionModel, self).__init__()

        # 创建一个线性层,作为内置层,也是实例化一个torch.nn.Linear对象,输入数据是一维的,输出数据也是一维的,默认包含偏置参数
        # torch.nn.Linear也是callable的类
        self.linearLayer = torch.nn.Linear(1, 1)

    def forward(self, x):
        # 使用这个包下面的sigmoid函数做**
        y_out = F.sigmoid(self.linearLayer(x))
        return y_out


# 创建和实例化一个整个模型类的对象
Logistic_Model = LogisticRegressionModel()
# 打印出整个模型
print(Logistic_Model)

# Step 2: ========定义损失函数和优化器========
# 定义一个均方差误差损失函数 binary classification error loss
Logistic_Criterion = torch.nn.BCELoss(size_average=True)
# 创建一个优化器,是用来做参数训练的,或者说是反向传播后更新参数,线性回归一般选择随机梯度下降,当然还有其他的梯度下降的方式。
# lr 就是learning rate,把模型的所有参数都交给优化器,反向传播中,优化器会递归地计算参数的偏导数以及做参数更新。
Logistic_Optimizer = torch.optim.SGD(Logistic_Model.parameters(), lr=0.01)


# Step 3: ========得到数据========
# 为了方便演示和学习,这里我随意构造几个数据
x_data = torch.Tensor([[1.0], [2.0], [3.0], [4.0], [5.0], [6.0], [7.0], [8.0]])
y_data = torch.Tensor([[0], [0], [0], [0], [1], [1], [1], [1]])

# Step 4: ========开始训练========
# 迭代进行训练
iteration = 100
for itr in range(iteration):

    # 计算前向传播,也就是计算输出
    # 由于模型是callable的,最后会自动调用__callable__函数,再其中就有一个是forward函数调用。
    y_output = Logistic_Model(x_data)
    # 得到损失值
    loss = Logistic_Criterion(y_output, y_data)
    print("in the ", itr, "th iteration, loss is", loss.item())

    # 反向传播,也就是对参数进行训练,需要注意的是,需要把优化其中上一次计算的梯度值清0
    Logistic_Optimizer.zero_grad()
    # 计算反向的各个参数的偏导数
    loss.backward()
    # 更新参数
    Logistic_Optimizer.step()

# 打印出参数
print("w is: ", Logistic_Model.linearLayer.weight.item())
print("b is: ", Logistic_Model.linearLayer.bias.item())