TensorFlow神经网络创建多层感知机MNIST数据集
程序员文章站
2022-06-19 13:50:08
前面使用tensorflow实现一个完整的softmax regression,并在mnist数据及上取得了约92%的正确率。前文传送门: tensorflow教程softmax逻辑回归识别手写数字m...
前面使用tensorflow实现一个完整的softmax regression,并在mnist数据及上取得了约92%的正确率。
前文传送门: tensorflow教程softmax逻辑回归识别手写数字mnist数据集
现在建含一个隐层的神经网络模型(多层感知机)。
import tensorflow as tf import numpy as np import input_data mnist = input_data.read_data_sets('data/', one_hot=true) n_hidden_1 = 256 n_input = 784 n_classes = 10 # inputs and outputs x = tf.placeholder(tf.float32, [none, n_input]) # 用placeholder先占地方,样本个数不确定为none y = tf.placeholder(tf.float32, [none, n_classes]) # 用placeholder先占地方,样本个数不确定为none # network parameters weights = { 'w1': tf.variable(tf.random_normal([n_input, n_hidden_1], stddev=0.1)), 'out': tf.variable(tf.zeros([n_hidden_1, n_classes])) } biases = { 'b1': tf.variable(tf.zeros([n_hidden_1])), 'out': tf.variable(tf.zeros([n_classes])) } print("network ready") def multilayer_perceptron(_x, _weights, _biases): # 前向传播,l1、l2每一层后面加relu激活函数 layer_1 = tf.nn.relu(tf.add(tf.matmul(_x, _weights['w1']), _biases['b1'])) # 隐层 return (tf.matmul(layer_1, _weights['out']) + _biases['out']) # 返回输出层的结果,得到十个类别的得分值 pred = multilayer_perceptron(x, weights, biases) # 前向传播的预测值 cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, y)) # 交叉熵损失函数,参数分别为预测值pred和实际label值y,reduce_mean为求平均loss optm = tf.train.gradientdescentoptimizer(0.01).minimize(cost) # 梯度下降优化器 corr = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1)) # tf.equal()对比预测值的索引和实际label的索引是否一样,一样返回true,不一样返回false accr = tf.reduce_mean(tf.cast(corr, tf.float32)) # 将pred即true或false转换为1或0,并对所有的判断结果求均值 init = tf.global_variables_initializer() print("functions ready") # 上面神经网络结构定义好之后,下面定义一些超参数 training_epochs = 100 # 所有样本迭代100次 batch_size = 100 # 每进行一次迭代选择100个样本 display_step = 5 # launch the graph sess = tf.session() # 定义一个session sess.run(init) # 在sess里run一下初始化操作 # optimize for epoch in range(training_epochs): avg_cost = 0. total_batch = int(mnist.train.num_examples/batch_size) # loop over all batches for i in range(total_batch): batch_xs, batch_ys = mnist.train.next_batch(batch_size) # 逐个batch的去取数据 sess.run(optm, feed_dict={x: batch_xs, y: batch_ys}) avg_cost += sess.run(cost, feed_dict={x: batch_xs, y: batch_ys})/total_batch # display logs per epoch step if epoch % display_step == 0: train_acc = sess.run(accr, feed_dict={x: batch_xs, y: batch_ys}) test_acc = sess.run(accr, feed_dict={x: mnist.test.images, y: mnist.test.labels}) print("epoch: %03d/%03d cost: %.9f train accuracy: %.3f test accuracy: %.3f" % (epoch, training_epochs, avg_cost, train_acc, test_acc)) print("done")
迭代100次看下效果,程序运行结果如下:
epoch: 095/100 cost: 0.076462782 train accuracy: 0.990 test accuracy: 0.970
最终,在测试集上准确率达到97%,随着迭代次数增加,准确率还会上升。相比之前的softmax,训练迭代100次我们的误差率由8%降到了3%,对识别银行账单这种精确度要求很高的场景,可以说是飞跃性的提高。而这个提升仅靠增加一个隐层就实现了,可见多层神经网络的效果有多显著。
没有隐含层的softmax regression只能直接从图像的像素点推断是哪个数字,而没有特征抽象的过程。多层神经网络依靠隐含层,则可以组合出高阶特征,比如横线、竖线、圆圈等,之后可以将这些高阶特征或者说组件再组合成数字,就能实现精准的匹配和分类。
不过,使用全连接神经网络也是有局限的,即使我们使用很深的网络,很多的隐藏节点,很大的迭代次数,也很难在mnist数据集上达到99%以上的准确率。
以上就是tensorflow神经网络创建多层感知机mnist数据集的详细内容,更多关于tensorflow创建多层感知机mnist数据集的资料请关注其它相关文章!
推荐阅读
-
5.1tensorflow5.1神经网络调参实现mnist数据集分类正确率98%以上(实现动态学习率调整)
-
BP神经网络基于TensorFlow的mnist数据集分类
-
tensorflow使用卷积神经网络训练mnist数据集代码及结果
-
TensorFlow——CNN卷积神经网络处理Mnist数据集
-
Tensorflow学习:循环(递归/记忆)神经网络RNN(手写数字识别:MNIST数据集分类)
-
使用tensorflow利用神经网络分类识别MNIST手写数字数据集,转自随心1993
-
keras中使用MLP(多层感知机)神经网络来实现MNIST手写体识别
-
TensorFlow卷积神经网络MNIST数据集实现示例
-
TensorFlow神经网络创建多层感知机MNIST数据集
-
TensorFlow卷积神经网络MNIST数据集实现示例