Dropout

过拟合是机器学习问题中的常见问题：在模型预测准确率在训练集上升高，但是在测试集上反而下降，也就说泛化性不好。

Dropout，由Hinton教授团队提出的一个简单但却十分有效的方法，在使用复杂的卷积神经网络训练图像数据时尤其有效。

一般只在全连接层使用，不在卷积层和池化层使用。

只在训练集上使用，不在验证测试集上使用。

大致思路 :

在训练时，将神经网络某一层的输出节点数据随机丢弃一部分，eg: 随机的把一张图片的50%的点删掉，此时人还是可以识别出这张图片的类别，当然机器算法也可以，实质上是等同于创造出了很多新的随机样本，通过增大样本量，减少特征数量来防止过拟合。

代码示例 ：

在一个全连接层的后面，为了减轻过拟合，使用一个Dropout层

#全连接层，可以推出上一层 有64个卷积核的卷积层通过池化得到的尺寸为7*7
W_fc1=weight_variable([7*7*64,1024])
b_fc1=bias_variable([1024])
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)

#使用一个dropout层 减轻过拟合
keep_prob=tf.placeholder(tf.float32)
h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)

把drop的比例作为计算图的输入，并定义成为一个placeholder。通过调用tf.nn.dropout( )完成Dropout层的具体工作。