【卷积神经网络结构专题】一文详解LeNet（附代码实现）
关注上方“深度学习技术前沿”，选择“星标公众号”，
资源干货，第一时间送达！
近期，公众号将推出卷积神经网络结构系列专题文章，将深入浅出的为大家介绍从1998年到2020年的卷积神经网络结构，深刻体会每种网络的前世今身和进化历程。本文作为开篇，我们一起来探索一下由CNN之父Yann LeCun在1998提出来的第一个神经网络结构——LeNet。
1. Introduction
LeNet通过巧妙的设计，利用卷积、参数共享、下采样等操作提取特征，避免了大量的计算成本，最后再使用全连接神经网络进行分类识别，这个网络也是近20年来大量神经网络架构的起源。
2. 网络结构
LeNet-5是1998年YannLeCun设计用于手写数字识别的模型，LeNet-5也是LeNet系列最新的卷积神经网络，网络结构如下图所示：
网络基本架构为：Input -> conv1 (6) -> pool1 -> conv2 (16) -> pool2 -> fc3 (120) -> fc4 (84) -> fc5 (10) -> softmax。括号中的数字代表通道数，网络名称中有5表示它有5层conv/fc层。其中每一个卷积层中的卷积核大小均为5x5，stride=1，无填充，LeNet-5中使用的**函数为tanh。LeNet-5之后被成功用于ATM以对支票中的手写数字进行识别。LeNet取名源自其作者姓LeCun。
网络架构具体介绍如下：
首先输入图像是单通道32 x 32大小的图像，在pytorch中维度表示就是[B，1，32，32]其中代表
batch_size。卷积层conv1：
卷积核尺寸为5x5，滑动步长为1，卷积核数目为6，那么经过这一层后图像的尺寸变成（32 - 5）/1 + 1 = 28，输出特征图的维度即为[B，6，28，28]
参数个数为(5x5+1)x6=156 (其中5x5对应kernel size，+1为bias，6为feature map 数目）
连接数为156x28x28=122304(156为参数个数，其中feature map上每个像素点对应156个连接）
池化层pool1:
池化核尺寸为2x2，步长为2，这是没有重叠的max pooling,进行池化操作之后，图像尺寸减半，变为14x14,输出特征图维数为：[B，6，14，14]
参数个数为 6x(1+1)=12。（因为LeNet-5采用的sigmoid(a*average(x)+b)作为池化函数）
链接个数为6x14x14x(2x2+1)=5880。六个feature map，总共6x14x14个feature，每个feature由4个C2特征+1个bias
卷积层conv2:
卷积核尺寸为5x5，滑动步长为1，卷积核数目为16，那么经过这一层后图像的尺寸变成（14 - 5）/1 + 1 = 10，输出特征图的维度即为[B，16，10，10]
参数个数为(5x5x3+1)x6+(5x5x4+1)x9+(5x5x6+1)=1516个。括号内部为kernel_size x kernel_size x feature_map_num + bias_num，表示从feature_map_size卷积得到的feature map所需要的参数个数；括号外为相应得到feature map的数目。
链接个数为1516x10x10=151600个。其中1516为参数个数，10为新生成的feature map的size。
池化层pool2:
池化核尺寸为2x2，步长为2，这是没有重叠的max pooling,进行池化操作之后，图像尺寸减半，变为5x5,输出特征图维数为：[B,16,5,5]
参数个数为16x(1+1)=32。（因为LeNet-5采用的sigmoid(a*average(x)+b)作为池化函数）
链接个数为5x5x16x(2x2+1)=2000。(5为新生成feature map的size，16为feature map的数目，2为kernel size，1为bias。
卷积层conv3:
卷积核尺寸为5x5，滑动步长为1，卷积核数目为120，那么经过这一层后图像的尺寸变成（5- 5）/1 + 1 = 1，输出特征图的维度即为[B，120，1，1]
参数个数为120x(5x5x16+1)=48120。
链接个数等于参数个数，因为新生成feature map的size为1。
全连接层fc1:
输入120个，输出84个（文章中是把图片对应的字符在7x12的bitmap上画出，白值为-1，黑值为1，其中84个像素平铺之后的向量对应为相应字符的表述，作为真值与F6连接）
链接个数=参数个数=(120+1)x84，其中+1为bias
全连接层fc2:
输出神经元个数为10，最后得到一个10维的特征向量，用于10个数字的分类训练，再送入softmaxt分类，得到分类结果的概率output。
PyTorch代码实现如下
class LeNet5(nn.Module):
def __init__(self, num_classes, grayscale=False):
super(LeNet5, self).__init__()
self.grayscale = grayscale
self.num_classes = num_classes
if self.grayscale:
in_channels = 1
else:
in_channels = 3
self.features = nn.Sequential(
nn.Conv2d(in_channels, 6, kernel_size=5),
nn.Tanh(),
nn.MaxPool2d(kernel_size=2),
nn.Conv2d(6, 16, kernel_size=5),
nn.Tanh(),
nn.MaxPool2d(kernel_size=2)
)
self.classifier = nn.Sequential(
nn.Linear(16*5*5, 120),
nn.Tanh(),
nn.Linear(120, 84),
nn.Tanh(),
nn.Linear(84, num_classes),
)
def forward(self, x):
x = self.features(x)
x = torch.flatten(x, 1)
logits = self.classifier(x)
probas = F.softmax(logits, dim=1)
return logits, probas推荐阅读
（点击标题可跳转阅读）
欢迎添加群助手微信，进计算机视觉微信交流群探讨CV相关内容！
???? 长按识别添加，邀请您进群！
原创不易，在看鼓励！比心哟！