MNIST数字识别问题(Tensorflow)
2017-07-20 21:33
549 查看
一、首先介绍tensorflow持久化的工作原理,持久化代码实现。
1.1使用tf.train.Saver类,以下代码给出了保存tensorflow计算图的方法。
1.2加载已保存的模型的方法
如果不希望重复定义图上的运算,也可以:
1.3变量重命名的使用
1.4保存滑动平均模型的运用
1.5 variables_to_restore的样例
二、用完整的tensorflow程序解决MNIST问题
2.1前向算法
首先将前向传播过程抽象出来,作为一个可以作为训练测试共享的模块,取名为
2.2训练模块
将训练模型的模块提取出来,训练模块命名为
运行结果:
2.3验证与测试模块
验证模块与测试模块可以对保存好的训练模型进行验证与测试,在下面的代码中选择每过10秒钟验证一个最新的模型。这样做的好处是可以将训练与验证或者测试分割开来,同时进行。
运行结果:
1.1使用tf.train.Saver类,以下代码给出了保存tensorflow计算图的方法。
import tensorflow as tf v1=tf.Variable(tf.constant(1.0,shape=[1]),name="v1") v2=tf.Variable(tf.constant(2.0,shape=[1]),name="v2") result=v1+v2 init_op=tf.initialize_all_variables() saver=tf.train.Saver() with tf.Session() as sess: sess.run(init_op) saver.save(sess,"D:/gj20170720/model.ckpt")
1.2加载已保存的模型的方法
import tensorflow as tf __author__ = 'casgj' v1=tf.Variable(tf.constant(1.0,shape=[1]),name="v1") v2=tf.Variable(tf.constant(2.0,shape=[1]),name="v2") result=v1 + v2 saver=tf.train.Saver() with tf.Session() as sess: saver.restore(sess,"D:/gj20170720/model.ckpt") print(sess.run(result))
如果不希望重复定义图上的运算,也可以:
import tensorflow as tf __author__ = 'casgj' saver=tf.train.import_meta_graph(("D:/gj20170720/model.ckpt.meta")) with tf.Session() as sess: saver.restore(sess,"D:/gj20170720/model.ckpt") print(sess.run
1.3变量重命名的使用
__author__ = 'casgj' import tensorflow as tf v1=tf.Variable(tf.constant(1.0,shape=[1]),name="other-v1") v2=tf.Variable(tf.constant(2.0,shape=[1]),name="other-v2") saver=tf.train.Saver({"v1":v1,"v2":v2})
1.4保存滑动平均模型的运用
_author__ = 'casgj' import tensorflow as tf v=tf.Variable(0,dtype=tf.float32,name="v") for variables in tf.all_variables(): print(variables.name) ema=tf.train.ExponentialMovingAverage(0.99) maintain_averages_op=ema.apply(tf.all_variables()) for variables in tf.all_variables(): print(variables.name) saver=tf.train.Saver() with tf.Session() as sess: init_op=tf.initialize_all_variables() sess.run(init_op) sess.run(tf.assign(v,10)) sess.run(maintain_averages_op) saver.save(sess,"D:/gj20170720/model.ckpt") print(sess.run([v,ema.average(v)]))
1.5 variables_to_restore的样例
__author__ = 'casgj' import tensorflow as tf v=tf.Variable(0,dtype=tf.float32,name="v") ema=tf.train.ExponentialMovingAverage(0.99) print(ema.variables_to_restore()) saver=tf.train.Saver(ema.variables_to_restore()) with tf.Session() as sess: saver.restore(sess,"D:/gj20170720/model.ckpt") print(sess.run(v))
二、用完整的tensorflow程序解决MNIST问题
2.1前向算法
首先将前向传播过程抽象出来,作为一个可以作为训练测试共享的模块,取名为
mnist_inference.py,代码如下:
# -*- coding: utf-8 -*- import tensorflow as tf # 定义神经网络结构相关的参数 INPUT_NODE = 784 OUTPUT_NODE = 10 LAYER1_NODE = 500 # 通过tf.get_variable函数来获取变量。在训练神经网络时会创建这些变量;在测试时会通 # 过保存的模型加载这些变量的取值。而且更加方便的是,因为可以在变量加载时将滑动平均变 # 量重命名,所以可以直接通过相同的名字在训练时使用变量自身,而在测试时使用变量的滑动 # 平均值。在这个函数中也会将变量的正则化损失加入到损失集合。 def get_weight_variable(shape, regularizer): weights = tf.get_variable( "weights", shape, initializer=tf.truncated_normal_initializer(stddev=0.1) ) # 当给出了正则化生成函数时,将当前变量的正则化损失加入名字为losses的集合。在这里 # 使用了add_to_collection函数将一个张量加入一个集合,而这个集合的名称为losses。 # 这是自定义的集合,不在TensorFlow自动管理的集合列表中。 if regularizer != None: tf.add_to_collection('losses', regularizer(weights)) return weights # 定义神经网络的前向传播过程 def inference(input_tensor, regularizer): # 声明第一层神经网络的变量并完成前向传播过程。 with tf.variable_scope('layer1'): # 这里通过tf.get_variable或者tf.Variable没有本质区别,因为在训练或者测试 # 中没有在同一个程序中多次调用这个函数。如果在同一个程序中多次调用,在第一次 # 调用之后需要将reuse参数设置为True。 weights = get_weight_variable( [INPUT_NODE, LAYER1_NODE], regularizer ) biases = tf.get_variable( "biases", [LAYER1_NODE], initializer=tf.constant_initializer(0.0) ) layer1 = tf.nn.relu(tf.matmul(input_tensor, weights)+biases) # 类似的声明第二层神经网络的变量并完成前向传播过程。 with tf.variable_scope('layer2'): weights = get_weight_variable( [LAYER1_NODE, OUTPUT_NODE], regularizer ) biases = tf.get_variable( "biases", [OUTPUT_NODE], initializer=tf.constant_initializer(0.0) ) layer2 = tf.matmul(layer1, weights) + biases # 返回最后前向传播的结果 return layer2
2.2训练模块
将训练模型的模块提取出来,训练模块命名为
mnist_train.py,在下面的代码中每过1000个step我们就保存一次模型。代码如下:
# -*- coding: utf-8 -*- import os import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 加载mnist_inference.py中定义的常量和前向传播的函数。 import mnist_inference # 配置神经网络的参数。 BATCH_SIZE = 100 LEARNING_RATE_BASE = 0.8 LEARNING_RATE_DECAY = 0.99 REGULARIZATION_RATE = 0.0001 TRAINING_STEPS = 30000 MOVING_AVERAGE_DECAY = 0.99 # 模型保存的路径和文件名 MODEL_SAVE_PATH = "D:\gj20170720" MODEL_NAME = "model.ckpt" def train(mnist): # 定义输入输出placeholder。 x = tf.placeholder(tf.float32, [None, mnist_inference.INPUT_NODE], name='x-input') y_ = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y-input') regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE) # 直接使用mnist_inference.py中定义的前向传播过程 y = mnist_inference.inference(x, regularizer) global_step = tf.Variable(0, trainable=False) # 定义损失函数、学习率、滑动平均操作以及训练过程 variable_averages = tf.train.ExponentialMovingAverage( MOVING_AVERAGE_DECAY, global_step ) variable_averages_op = variable_averages.apply( tf.trainable_variables() ) cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits( logits=y, labels=tf.argmax(y_, 1) ) cross_entropy_mean = tf.reduce_mean(cross_entropy) loss = cross_entropy_mean + tf.add_n(tf.get_collection('losses')) learning_rate = tf.train.exponential_decay( LEARNING_RATE_BASE, global_step, mnist.train.num_examples / BATCH_SIZE, LEARNING_RATE_DECAY ) train_step = tf.train.GradientDescentOptimizer(learning_rate)\ .minimize(loss, global_step=global_step) with tf.control_dependencies([train_step, variable_averages_op]): train_op = tf.no_op(name='train') # 初始化TensorFlow持久化类 saver = tf.train.Saver() with tf.Session() as sess: tf.global_variables_initializer().run() # 在训练过程中不再测试模型在验证数据上的表现,验证和测试的过程将会有一个独 # 立的程序来完成。 for i in range(TRAINING_STEPS): xs, ys = mnist.train.next_batch(BATCH_SIZE) _, loss_value, step = sess.run([train_op, loss, global_step], feed_dict={x: xs, y_: ys}) # 每1000轮保存一次模型 if i % 1000 == 0: # 输出当前的训练情况。这里只输出了模型在当前训练batch上的损失 # 函数大小。通过损失函数的大小可以大概了解训练的情况。在验证数 # 据集上正确率的信息会有一个单独的程序来生成 print("After %d training step(s), loss on training " "batch is %g." % (step, loss_value)) # 保存当前的模型。注意这里给出了global_step参数,这样可以让每个 # 被保存的模型的文件名末尾加上训练的轮数,比如“model.ckpt-1000”, # 表示训练1000轮之后得到的模型。 saver.save( sess, os.path.join(MODEL_SAVE_PATH, MODEL_NAME), global_step=global_step ) def main(argv=None): mnist = input_data.read_data_sets("/tmp/data", one_hot=True) train(mnist) if __name__ == "__main__": tf.app.run()
运行结果:
2.3验证与测试模块
验证模块与测试模块可以对保存好的训练模型进行验证与测试,在下面的代码中选择每过10秒钟验证一个最新的模型。这样做的好处是可以将训练与验证或者测试分割开来,同时进行。
# -*- coding: utf-8 -*- import time import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 加载mnist_inference.py 和mnist_train.py中定义的常量和函数。 import mnist_inference import mnist_train # 每10秒加载一次最新的模型,并且在测试数据上测试最新模型的正确率 EVAL_INTERVAL_SECS = 10 def evaluate(mnist): with tf.Graph().as_default() as g: # 定义输入输出的格式。 x = tf.placeholder( tf.float32, [None, mnist_inference.INPUT_NODE], name='x-input' ) y_ = tf.placeholder( tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y-input' ) validate_feed = {x: mnist.validation.images, y_: mnist.validation.labels} # 直接通过调用封装好的函数来计算前向传播的结果。因为测试时不关注ze正则化损失的值 # 所以这里用于计算正则化损失的函数被设置为None。 y = mnist_inference.inference(x, None) # 使用前向传播的结果计算正确率。如果需要对未知的样例进行分类,那么使用 # tf.argmax(y,1)就可以得到输入样例的预测类别了。 correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) # 通过变量重命名的方式来加载模型,这样在前向传播的过程中就不需要调用求滑动平均 # 的函数来获取平均值了。这样就可以完全共用mnist_inference.py中定义的 # 前向传播过程。 variable_averages = tf.train.ExponentialMovingAverage( mnist_train.MOVING_AVERAGE_DECAY ) variables_to_restore = variable_averages.variables_to_restore() saver = tf.train.Saver(variables_to_restore) # 每隔EVAL_INTERVAL_SECS秒调用一次计算正确率的过程以检验训练过程中正确率的 # 变化。 while True: with tf.Session() as sess: # tf.train.get_checkpoint_state函数会通过checkpoint文件自动 # 找到目录中最新模型的文件名。 ckpt = tf.train.get_checkpoint_state( mnist_train.MODEL_SAVE_PATH ) if ckpt and ckpt.model_checkpoint_path: # 加载模型。 saver.restore(sess, ckpt.model_checkpoint_path) # 通过文件名得到模型保存时迭代的轮数。 global_step = ckpt.model_checkpoint_path\ .split('/')[-1].split('-')[-1] accuracy_score = sess.run(accuracy, feed_dict=validate_feed) print("After %s training step(s), validation " "accuracy = %g" % (global_step, accuracy_score)) else: print("No checkpoint file found") return time.sleep(EVAL_INTERVAL_SECS) def main(argv=None): mnist = input_data.read_data_sets("/tmp/data", one_hot=True) evaluate(mnist) if __name__ == "__main__": tf.app.run()
运行结果:
相关文章推荐
- TensorFlow - 手写数字识别 (MNIST), 多类分类 (multiclass classification) 问题
- TensorFlow实战——MNIST数字识别问题
- [Tensorflow] MNIST数字识别问题
- TensorFlow学习笔记(3) MNIST数字识别问题
- MNIST数字识别问题之tensorflow实现
- 【从零开始学习Tensorflow】(三)第5章 MNIST数字识别问题
- Tensorflow系列三:深度神经网络和MNIST数字识别
- 基于tensorflow的MNIST手写数字识别(二)--入门篇
- Tensorflow-MNIST数字识别练习代码
- MNIST数字识别问题
- TensorFlow 深度学习框架(6)-- mnist 数字识别及不同模型效果比较
- MNIST 数字识别和数据持久化--step by step 入门TensorFlow(三)
- tensorflow构建RNN识别mnist手写数字
- Tensorflow解决MNIST手写体数字识别
- TensorFlow之CNN实现MNIST手写数字识别
- Tensorflow项目实战一:MNIST手写数字识别
- TensorFlow笔记之一:MNIST手写数字识别
- 用卷积神经网络对mnist进行数字识别程序(tensorflow)
- tensorflow进行MNIST手写数字识别-优化版
- 基于tensorflow的MNIST手写数字识别