TensorFlow学习笔记(3) MNIST数字识别问题

MNIST是一个手写体数字识别数据体，作为机器学习的入门样例。这个数据集包含了60000张图片作为训练数据，一般从中划出5000张作为验证数据（validation），另外55000张作为训练数据（train），还有10000张图片作为测试数据（test），且每一张图片都代表了0-9中的一个数字。在TF中专门提供了一个类来处理MNIST数据：

from tensorflow.examples.tutorials.mnist import input_data

#载入MNIST数据集，如果MNIST_data文件夹中无数据，则自动从网上下载
mnist = input_data.read_data_sets("MNIST_data", one_hot=True)

print("Training data size:", mnist.train.num_examples)
#Training data size: 55000

print("Validating data size:", mnist.validation.num_examples)
#Validating data size: 5000

print("Testing data size:", mnist.test.num_examples)
#Testing data size: 10000

print("Example training data:", mnist.train.images[0])
#Example training data:[0. 0. 0. 0. 0. ... 0. 0.365 0. ...] 共784项

print("Example training data label:", mnist.train.labels[0])
#打印数据的答案
#Example training data label:[0 0 0 0 0 0 0 0 0 0 0 1 0] 共10项，第几项为1就代表数字几

input_data.read_data_sets函数生成的类还提供了mnist.train.next_batch函数，以便从所有训练数据中读取一小部分作为一个训练batch:

batch_size = 100
xs, ys = mnist.train.next_batch(batch_size)
print('x-shape:', xs.shape)
# x-shape: (100, 784)
print('y-shape:', ys.shape)
# y-shape: (100, 10)

以下代码给出了一个在MNIST数据集上实现这些功能的TF程序：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# MNIST数据集相关的常数
INPUT_NODE = 784
OUT_NODE = 10

# 配置神经网络的参数
LAYER1_NODE = 500
BATCH_SIZE = 100
LEARNING_RATE_BASE = 0.8
LEARNING_RATE_DECAY = 0.99
REGULARIZATION_RATE = 0.0001 #描述模型复杂度的正则化项在损失函数中的系数
TRAINING_STEPS = 30000
MOVING_AVERAGE_DECAY = 0.99 #滑动平均衰减率

# 计算神经网络的前向传播结果，实现三层全连接神经网络
def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2):
if avg_class == None: #若没有提供滑动平均模型类，则直接使用参数当前值
layer1 = tf.nn.relu(tf.matmul(input_tensor, weights1) + biases1)
return tf.matmul(layer1, weights2) + biases2
else:#若提供滑动平均模型类，首先使用avg_class.average()得到变量的滑动平均值，即影子变量
layer1 = tf.nn.relu(tf.matmul(input_tensor, avg_class.average(weights1)) + avg_class.average(biases1))
return tf.matmul(layer1, avg_class.average(weights2)) + avg_class.average(biases2)

# 训练模型的过程
def train(mnist):
x = tf.placeholder(tf.float32, [None, INPUT_NODE], name='x-input')
y_ = tf.placeholder(tf.float32, [None, OUT_NODE], name='y-input')

#生成隐藏层和输出层的参数的参数
weights1 = tf.Variable(tf.truncated_normal([INPUT_NODE, LAYER1_NODE], stddev=0.1))
#truncated_normal产生正太分布的值如果与均值的差值大于两倍的标准差，那就重新生成。
biases1 = tf.Variable(tf.constant(0.1, shape=[LAYER1_NODE]))
weights2 = tf.Variable(tf.truncated_normal([LAYER1_NODE, OUT_NODE], stddev=0.1))
biases2 = tf.Variable(tf.constant(0.1, shape=[OUT_NODE]))

#计算当前参数下前向传播的结果
y = inference(x, None, weights1, biases1, weights2, biases2)

#定义存储训练轮数的变量， 不可进行优化
global_step = tf.Variable(0, trainable=False)

#生成一个滑动平均的类，并在所有变量上使用滑动平均
variables_averages = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)
variables_averages_op = variables_averages.apply(tf.trainable_variables())

#计算使用滑动平均参数后的前向传播的结果
average_y = inference(x, variables_averages, weights1, biases1, weights2, biases2)

#计算交叉熵及当前barch中的所有样例的交叉熵平均值
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))
cross_entropy_mean = tf.reduce_mean(cross_entropy)
#tf.argmax(vector, 1)：返回的是vector中的最大值的索引值

#计算正则化损失函数 并得到最终的损失函数
regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)
regularization = regularizer(weights1) + regularizer(weights2)
loss = cross_entropy_mean + regularization

#定义指数衰减式的学习率
learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE, global_step, mnist.train.num_examples/BATCH_SIZE, LEARNING_RATE_DECAY)

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_step)
train_op = tf.group(train_step, variables_averages_op) #打包

correct_prediction = tf.equal(tf.argmax(average_y, 1), tf.argmax(y_, 1)) #判断两张量的每一维是否相等，相等返回True，不等返回False
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))#cast将布尔值转化为float32 求均值即得正确率

with tf.Session() as sess:
sess.run(tf.initialize_all_variables())

#生成验证数据
validate_feed = {x: mnist.validation.images, y_: mnist.validation.labels}
#生成测试数据
test_feed = {x:mnist.test.images, y_:mnist.test.labels}

for i in range(TRAINING_STEPS):

xs, ys = mnist.train.next_batch(BATCH_SIZE)
sess.run(train_op, feed_dict={x: xs, y_: ys})

if i%1000 == 0:
validate_acc = sess.run(accuracy, feed_dict=validate_feed)
test_acc = sess.run(accuracy, feed_dict=test_feed)
print("After %d training steps, validation accuracy using average model is %g，test accuracy using average model is %g" %(i, validate_acc, test_acc))

def main(argv=None):
mnist = input_data.read_data_sets("MNIST_data", one_hot=True)
train(mnist)

if __name__ == '__main__':
tf.app.run()

在上一篇中提到了5种设计神经网络的优化方法：在结构设计上，使用激活函数和多隐藏层；在网络优化上，使用指数衰减的学习率、正则化、滑动平均模型。

通过对不同的模型进行比较，发现不用隐藏层和不用激活函数对模型得正确率有很大影响，即神经网络得结构对最终模型效果有本质性得影响。滑动平均和指数衰减得学习率对最终模型的影响不大，由于他们都是限制神经网络中参数更新的速度。相比这两种，正则化则给模型带来的效果显著体提升。

源自：Tensorflow 实战Google深度学习框架_郑泽宇