Python深度学习pytorch卷积神经网络LeNet
在本节中,我们将介绍lenet,它是最早发布的卷积神经网络之一。这个模型是由at&t贝尔实验室的研究院yann lecun在1989年提出的(并以其命名),目的是识别手写数字。当时,lenet取得了与支持向量机性能相媲美的成果,成为监督学习的主流方法。lenet被广泛用于自动取款机中,帮助识别处理支票的数字。
lenet
总体来看,lenet(lenet-5)由两个部分组成:
- 卷积编码器: 由两个卷积层组成
- 全连接层密集快: 由三个全连接层组成
每个卷积块中的基本单元是一个卷积层、一个sigmoid激活函数和平均池化层。这里,虽然relu和最大池化层更有效,但它们在20世纪90年代还没有出现。每个卷积层使用 5 × 5 5\times5 5×5卷积核和一个sigmoid激活函数。这些层将输入映射到多个二维特征输出,通常同时增加通道的数量。第一卷积层有6个输出通道,而第二个卷积层有16个输出通道。每个 2 × 2 2\times2 2×2池操作通过空间下采样将维数减少4倍。
为了将卷积块中的输出传递给稠密块,我们必须在小批量中战平每个样本。lenet的稠密快有三个全连接层,分别有120、84和10个输出。因为我们仍在执行分类,所以输出层的10维对应于最后输出结果的数量。
通过下面的lenet代码,我们会相信深度学习框架实现此类模型非常简单。我们只需要实例化一个sequential块并将需要的层连接在一起。
import torch from torch import nn from d2l import torch as d2l class reshape(torch.nn.module): def forward(self, x): return x.view(-1, 1, 28, 28) net = torch.nn.sequential( reshape(), nn.conv2d(1, 6, kernel_size=5, padding=2), nn.sigmoid(), nn.avgpool2d(kernel_size=2, stride=2), nn.conv2d(6, 16, kernel_size=5), nn.sigmoid(), nn.avgpool2d(kernel_size=2, stride=2), nn.flatten(), nn.linear(16 * 5 * 5, 120), nn.sigmoid(), nn.linear(120, 84), nn.sigmoid(), nn.linear(84, 10) )
我们对原始模型做了一点小改动,去掉了最后一层的高斯激活。除此之外,这个网络与最初的lenet-5一致。下面,我们将一个大小为 28 × 28 28\times28 28×28的单通道(黑白)图像通过lenet。通过在每一层打印输出的形状,我们可以检查模型,以确保其操作与我们期望的下图一致。
x = torch.rand(size=(1, 1, 28, 28), dtype=torch.float32) for layer in net: x = layer(x) print(layer.__class__.__name__, 'output shape: \t', x.shape)
reshape output shape: torch.size([1, 1, 28, 28]) conv2d output shape: torch.size([1, 6, 28, 28]) sigmoid output shape: torch.size([1, 6, 28, 28]) avgpool2d output shape: torch.size([1, 6, 14, 14]) conv2d output shape: torch.size([1, 16, 10, 10]) sigmoid output shape: torch.size([1, 16, 10, 10]) avgpool2d output shape: torch.size([1, 16, 5, 5]) flatten output shape: torch.size([1, 400]) linear output shape: torch.size([1, 120]) sigmoid output shape: torch.size([1, 120]) linear output shape: torch.size([1, 84]) sigmoid output shape: torch.size([1, 84]) linear output shape: torch.size([1, 10])
请注意,在整个卷积块中,与上一层相比,每一层特征的高度和宽度都减小了。第一个卷积层使用2个像素的填充,来补偿 5 × 5 卷积核导致的特征减少。相反,第二个卷积层没有填充,因此高度和宽度都减少了4个像素。随着层叠的上升,通道的数量从输入时的1个,增加到第一个卷积层之后的6个,再到第二个卷积层之后的16个。同时,每个汇聚层的高度和宽度都减半。最后,每个全连接层减少维度,最终输出一个维数与结果分类数相匹配的输出。
模型训练
现在我们已经实现了lenet,让我们看看lenet在fashion-mnist数据集上的表现。
batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size = batch_size)
虽然卷积神经网络的参数较少,但与深度的多层感知机相比,它们的计算成本仍然很高,因为每个参数都参与更多的乘法。
如果我们有机会使用gpu,可以用它加快训练。
以上就是python深度学习pytorch卷积神经网络lenet的详细内容,更多关于pytorch卷积神经网络lenet的资料请关注其它相关文章!
上一篇: 拼多多评价怎么匿名?
下一篇: JavaScript实现猜数字游戏
推荐阅读
-
深度之眼Pytorch打卡(十五):Pytorch卷积神经网络部件——转置卷积操作与转置卷积层(对转置卷积操作全网最细致分析,转置卷积的stride与padding,转置与反卷积名称论证)
-
Coursera吴恩达《神经网络与深度学习》课程笔记(3)-- 神经网络基础之Python与向量化
-
优达学城深度学习之三(下)——卷积神经网络
-
【深度学习】5:CNN卷积神经网络原理、识别MNIST数据集
-
TensorFlow深度学习进阶教程:TensorFlow实现CIFAR-10数据集测试的卷积神经网络
-
[pytorch、学习] - 5.5 卷积神经网络(LeNet)
-
PyTorch(叁)卷积神经网络之LeNet(1)
-
卷积神经网络 -- PyTorch 实现系列之 LeNet(datasets: CIFAR-10)
-
TensorFlow学习总结(六)卷积神经网络—LeNet5
-
深度学习笔记11:利用numpy搭建一个卷积神经网络