python3 24.kera使用DropOut进行MNIST数据集简单分类 学习笔记

前言

     计算机视觉系列之学习笔记主要是本人进行学习人工智能（计算机视觉方向）的代码整理。本系列所有代码是用python3编写，在平台Anaconda中运行实现，在使用代码时，默认你已经安装相关的python库，这方面不做多余的说明。本系列所涉及的所有代码和资料可在我的github上下载到，gitbub地址：https://github.com/mcyJacky/DeepLearning-CV，如有问题，欢迎指出。

一、使用DropOut抵抗过拟合

     在大型复杂项目中，我们经常会遇到过拟合现状，即训练集预测结果和测试集预测结果相差较大，训练集准确率高，测试集准确率低。而我们在使用深度学习时，通常会用以下几种方法来抵抗过拟合现状：

• 增加数据集
• early stopping(提前结束训练)
• DropOut：在训练阶段，随机选取隐藏层的神经元不参与计算
• 正则化

     本篇就是使用DropOut方法来抵抗过拟合，我们改变之前对MNIST数据集简单分类的网络结构，使用784-200-100-10结构，即输入层有784个神经元，有两个隐藏层：第一个隐藏层是200个神经元，第二个隐藏层是100个神经元，输出层是10个神经元。具体如下：

import numpy as np
from keras.datasets import mnist
# keras提供的numpy工具包
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.optimizers import SGD
# 载入数据
(x_train,y_train), (x_test,y_test) = mnist.load_data()

# (6000,28,28)
print('x_shape:', x_train.shape)
# (6000)
print('y_shape:', y_train.shape)

# 进行数据转换,并归一化
# (60000,28,28) -> (60000, 784)
x_train = x_train.reshape(x_train.shape[0], -1)/255.0
x_test = x_test.reshape(x_test.shape[0], -1)/255.0
# 换one hot格式
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)

# 创建模型: 784-200-100-10
model = Sequential([
        Dense(units=200, input_dim=784, bias_initializer='one', activation='tanh'),
        Dropout(0.4),
        Dense(units=100, bias_initializer='one', activation='tanh'),
        Dropout(0.4),
        Dense(units=10, bias_initializer='one', activation='softmax')
    ])

# 定义优化
sgd = SGD(lr=0.2)

# 定义优化器，loss function, 训练过程中的准确率
model.compile(
    optimizer = sgd,
    loss = 'categorical_crossentropy',
    metrics = ['accuracy']
)

# 进行模型训练
model.fit(x_train, y_train, batch_size=32, epochs=10)


# 测试集评估模型
loss, accuracy = model.evaluate(x_test, y_test)
print('\ntest loss:', loss)
print('test accuracy:', accuracy)

# 训练集评估模型
loss, accuracy = model.evaluate(x_train, y_train)
print('\ntrain loss:', loss)
print('train accuracy:', accuracy)

# 输出结果：
# x_shape: (60000, 28, 28)
# y_shape: (60000,)
# Epoch 1/10
# 60000/60000 [==============================] - 8s 128us/step - loss: 0.4492 - acc: 0.8632
# Epoch 2/10
# 60000/60000 [==============================] - 7s 118us/step - loss: 0.2854 - acc: 0.9161
# Epoch 3/10
# 60000/60000 [==============================] - 7s 123us/step - loss: 0.2471 - acc: 0.9258
# Epoch 4/10
# 60000/60000 [==============================] - 7s 124us/step - loss: 0.2190 - acc: 0.9359
# Epoch 5/10
# 60000/60000 [==============================] - 7s 124us/step - loss: 0.2038 - acc: 0.9396
# Epoch 6/10
# 60000/60000 [==============================] - 7s 122us/step - loss: 0.1850 - acc: 0.9444
# Epoch 7/10
# 60000/60000 [==============================] - 7s 121us/step - loss: 0.1771 - acc: 0.9475
# Epoch 8/10
# 60000/60000 [==============================] - 7s 123us/step - loss: 0.1681 - acc: 0.9491
# Epoch 9/10
# 60000/60000 [==============================] - 7s 121us/step - loss: 0.1612 - acc: 0.9530
# Epoch 10/10
# 60000/60000 [==============================] - 8s 134us/step - loss: 0.1524 - acc: 0.9550
# 10000/10000 [==============================] - 1s 56us/step

# test loss: 0.10241868693223223
# test accuracy: 0.9704
# 60000/60000 [==============================] - 3s 50us/step

# train loss: 0.07547615545553465
# train accuracy: 0.9770666666666666

     使用DropOut后，我们观察最终测试集和训练集的预测结果，可以粗略看出两者的结果相差不大，但是在这个案例中体现不是太明显，如果我们在训练大型复杂数据时，就能切实感受到带来的好处。

     
     
     
     
【参考】：
     1. 城市数据团课程《AI工程师》计算机视觉方向
     2. deeplearning.ai 吴恩达《深度学习工程师》
     3. 《机器学习》作者：周志华
     4. 《深度学习》作者：Ian Goodfellow

---

转载声明：
版权声明：非商用*转载-保持署名-注明出处
署名 ：mcyJacky
文章出处：https://blog.csdn.net/mcyJacky