TensorFlow基础3:数据读取的三种方式
2017-11-27 14:47
801 查看
‘在讲述在TensorFlow上的数据读取方式之前,有必要了解一下TensorFlow的系统架构,如下图所示:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201711/5c41f7459fef7af63b6250aad12df951)
TensorFlow的系统架构分为两个部分:
前端系统:提供编程模型,负责构造计算图;
后端系统:提供运行时环境,负责执行计算图。
在处理数据的过程当中,由于现在的硬件性能的极大提升,数值计算过程可以通过加强硬件的方式来改善,因此数据读取(即IO)往往会成为系统运行性能的瓶颈。在TensorFlow框架中提供了三种数据读取方式:
Preloaded data: 预加载数据
Feeding: placeholder, feed_dict 由占位符代替数据,运行时填入数据
Reading from file: 从文件中直接读取
以上三种读取方式各有自己的特点,在了解这些特点或区别之前,需要知道TensorFlow是如何进行工作的。
TF的核心是用C++写的,这样的好处是运行快,缺点是调用不灵活。而Python恰好相反,所以结合两种语言的优势。涉及计算的核心算子和运行框架是用C++写的,并提供API给Python。Python调用这些API,设计训练模型(Graph),再将设计好的Graph给后端去执行。简而言之,Python的角色是Design,C++是Run。
运行结果如下:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201711/6eb2218b44645daceadd00a9dd9eafa9)
在设计Graph的时候,x和y就被定义成了两个有值的列表,在计算z的时候直接取x1和x2的值。
运行结果如下:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201711/3ee9f8878f2e98ee2170f7a9ea7f5d92)
在这里x, y只是占位符,没有具体的值,那么运行的时候去哪取值呢?这时候就要用到sess.run()中的feed_dict参数,将Python产生的数据喂给后端,并计算z。
这种直接从文件中读取数据的方式需要设计成Queue的方式才能较好的解决IO瓶颈的问题。
Queue机制有如下三个特点:
producer-consumer pattern(生产消费模式)
独立于主线程执行
异步IO: reader.read(queue) tf.train.batch()
![](https://oscdn.geek-share.com/Uploads/Images/Content/201711/96ef9521d76c96036e65b7f0857eefc5)
在上图中,首先由一个单线程把文件名堆入队列,两个Reader同时从队列中取文件名并读取数据,Decoder将读出的数据解码后堆入样本队列,最后单个或批量取出样本(图中没有展示样本出列)。我们这里通过三段代码逐步实现上图的数据流,这里我们不使用随机,让结果更清晰。
在迭代控制中,记得添加
参考博客:http://honggang.io/2016/08/19/tensorflow-data-reading/
TensorFlow的系统架构分为两个部分:
前端系统:提供编程模型,负责构造计算图;
后端系统:提供运行时环境,负责执行计算图。
在处理数据的过程当中,由于现在的硬件性能的极大提升,数值计算过程可以通过加强硬件的方式来改善,因此数据读取(即IO)往往会成为系统运行性能的瓶颈。在TensorFlow框架中提供了三种数据读取方式:
Preloaded data: 预加载数据
Feeding: placeholder, feed_dict 由占位符代替数据,运行时填入数据
Reading from file: 从文件中直接读取
以上三种读取方式各有自己的特点,在了解这些特点或区别之前,需要知道TensorFlow是如何进行工作的。
TF的核心是用C++写的,这样的好处是运行快,缺点是调用不灵活。而Python恰好相反,所以结合两种语言的优势。涉及计算的核心算子和运行框架是用C++写的,并提供API给Python。Python调用这些API,设计训练模型(Graph),再将设计好的Graph给后端去执行。简而言之,Python的角色是Design,C++是Run。
1. Preload data: constant 预加载数据
特点:数据直接嵌入graph, 由graph传入session中运行import tensorflow as tf #设计graph x = tf.constant([1,2,3], name='x') y = tf.constant([2,3,4], name='y') z = tf.add(x,y, name='z') #打开一个session,计算z with tf.Session() as sess: print(sess.run(z))
运行结果如下:
在设计Graph的时候,x和y就被定义成了两个有值的列表,在计算z的时候直接取x1和x2的值。
2.Feeding: placeholder, feed_dict
特点:由占位符代替数据,运行时填入数据import tensorflow as tf #设计graph,用占位符代替 x = tf.placeholder(tf.int16) y = tf.placeholder(tf.int16) z = tf.add(x,y, name='z') #打开一个session with tf.Session() as sess: #创建数据 xs = [1,2,3] ys = [2,3,4] #运行session,用feed_dict来将创建的数据传递进占位符 print(sess.run(z, feed_dict={x: xs, y: ys}))
运行结果如下:
在这里x, y只是占位符,没有具体的值,那么运行的时候去哪取值呢?这时候就要用到sess.run()中的feed_dict参数,将Python产生的数据喂给后端,并计算z。
3.Reading From File:直接从文件中读取
前两种方法很方便,但是遇到大型数据的时候就会很吃力,即使是Feeding,中间环节的增加也是不小的开销,比如数据类型转换等等。最优的方案就是在Graph定义好文件读取的方法,让TF自己去从文件中读取数据,并解码成可使用的样本集。这种直接从文件中读取数据的方式需要设计成Queue的方式才能较好的解决IO瓶颈的问题。
Queue机制有如下三个特点:
producer-consumer pattern(生产消费模式)
独立于主线程执行
异步IO: reader.read(queue) tf.train.batch()
在上图中,首先由一个单线程把文件名堆入队列,两个Reader同时从队列中取文件名并读取数据,Decoder将读出的数据解码后堆入样本队列,最后单个或批量取出样本(图中没有展示样本出列)。我们这里通过三段代码逐步实现上图的数据流,这里我们不使用随机,让结果更清晰。
文件准备
$ echo -e "Alpha1,A1\nAlpha2,A2\nAlpha3,A3" > A.csv $ echo -e "Bee1,B1\nBee2,B2\nBee3,B3" > B.csv $ echo -e "Sea1,C1\nSea2,C2\nSea3,C3" > C.csv $ cat A.csv Alpha1,A1 Alpha2,A2 Alpha3,A3
单个Reader,单个样本
import tensorflow as tf # 生成一个先入先出队列和一个QueueRunner filenames = ['A.csv', 'B.csv', 'C.csv'] filename_queue = tf.train.string_input_producer(filenames, shuffle=False) # 定义Reader reader = tf.TextLineReader() key, value = reader.read(filename_queue) # 定义Decoder example, label = tf.decode_csv(value, record_defaults=[['null'], ['null']]) # 运行Graph with tf.Session() as sess: coord = tf.train.Coordinator() #创建一个协调器,管理线程 threads = tf.train.start_queue_runners(coord=coord) #启动QueueRunner, 此时文件名队列已经进队。 for i in range(10): print example.eval() #取样本的时候,一个Reader先从文件名队列中取出文件名,读出数据,Decoder解析后进入样本队列。 coord.request_stop() coord.join(threads) # outpt Alpha1 Alpha2 Alpha3 Bee1 Bee2 Bee3 Sea1 Sea2 Sea3 Alpha1
单个Reader,多个样本
import tensorflow as tf filenames = ['A.csv', 'B.csv', 'C.csv'] ## filenames = tf.train.match_filenames_once('.\data\*.csv') filename_queue = tf.train.string_input_producer(filenames, shuffle=False) reader = tf.TextLineReader() key, value = reader.read(filename_queue) example, label = tf.decode_csv(value, record_defaults=[['null'], ['null']]) # 使用tf.train.batch()会多加了一个样本队列和一个QueueRunner。Decoder解后数据会进入这个队列,再批量出队。 # 虽然这里只有一个Reader,但可以设置多线程,相应增加线程数会提高读取速度,但并不是线程越多越好。 example_batch, label_batch = tf.train.batch( [example, label], batch_size=5) with tf.Session() as sess: coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(coord=coord) for i in range(10): print example_batch.eval() coord.request_stop() coord.join(threads) # output # ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2'] # ['Bee3' 'Sea1' 'Sea2' 'Sea3' 'Alpha1'] # ['Alpha2' 'Alpha3' 'Bee1' 'Bee2' 'Bee3'] # ['Sea1' 'Sea2' 'Sea3' 'Alpha1' 'Alpha2'] # ['Alpha3' 'Bee1' 'Bee2' 'Bee3' 'Sea1'] # ['Sea2' 'Sea3' 'Alpha1' 'Alpha2' 'Alpha3'] # ['Bee1' 'Bee2' 'Bee3' 'Sea1' 'Sea2'] # ['Sea3' 'Alpha1' 'Alpha2' 'Alpha3' 'Bee1'] # ['Bee2' 'Bee3' 'Sea1' 'Sea2' 'Sea3'] # ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2']
多Reader,多个样本
import tensorflow as tf filenames = ['A.csv', 'B.csv', 'C.csv'] filename_queue = tf.train.string_input_producer(filenames, shuffle=False) reader = tf.TextLineReader() key, value = reader.read(filename_queue) record_defaults = [['null'], ['null']] example_list = [tf.decode_csv(value, record_defaults=record_defaults) for _ in range(2)] # Reader设置为2 # 使用tf.train.batch_join(),可以使用多个reader,并行读取数据。每个Reader使用一个线程。 example_batch, label_batch = tf.train.batch_join( example_list, batch_size=5) with tf.Session() as sess: coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(coord=coord) for i in range(10): print example_batch.eval() coord.request_stop() coord.join(threads) # output # ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2'] # ['Bee3' 'Sea1' 'Sea2' 'Sea3' 'Alpha1'] # ['Alpha2' 'Alpha3' 'Bee1' 'Bee2' 'Bee3'] # ['Sea1' 'Sea2' 'Sea3' 'Alpha1' 'Alpha2'] # ['Alpha3' 'Bee1' 'Bee2' 'Bee3' 'Sea1'] # ['Sea2' 'Sea3' 'Alpha1' 'Alpha2' 'Alpha3'] # ['Bee1' 'Bee2' 'Bee3' 'Sea1' 'Sea2'] # ['Sea3' 'Alpha1' 'Alpha2' 'Alpha3' 'Bee1'] # ['Bee2' 'Bee3' 'Sea1' 'Sea2' 'Sea3'] # ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2']
tf.train.batch与
tf.train.shuffle_batch'数是单个Reader读取,但是可以多线程。
tf.train.batch_join'和
tf.train.shuffle_batch_join可设置多Reader读取,每个Reader使用一个线程。至于两种方法的效率,单Reader时,2个线程就达到了速度的极限。多Reader时,2个Reader就达到了极限。所以并不是线程越多越快,甚至更多的线程反而会使效率下降。
迭代控制
filenames = ['A.csv', 'B.csv', 'C.csv'] filename_queue = tf.train.string_input_producer(filenames, shuffle=False, num_epochs=3) # num_epoch: 设置迭代数 reader = tf.TextLineReader() key, value = reader.read(filename_queue) record_defaults = [['null'], ['null']] example_list = [tf.decode_csv(value, record_defaults=record_defaults) for _ in range(2)] example_batch, label_batch = tf.train.batch_join( example_list, batch_size=5) init_local_op = tf.initialize_local_variables() with tf.Session() as sess: sess.run(init_local_op) # 初始化本地变量 coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(coord=coord) try: while not coord.should_stop(): print example_batch.eval() except tf.errors.OutOfRangeError: print('Epochs Complete!') finally: coord.request_stop() coord.join(threads) coord.request_stop() coord.join(threads) # output # ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2'] # ['Bee3' 'Sea1' 'Sea2' 'Sea3' 'Alpha1'] # ['Alpha2' 'Alpha3' 'Bee1' 'Bee2' 'Bee3'] # ['Sea1' 'Sea2' 'Sea3' 'Alpha1' 'Alpha2'] # ['Alpha3' 'Bee1' 'Bee2' 'Bee3' 'Sea1'] # Epochs Complete!
在迭代控制中,记得添加
tf.initialize_local_variables(),官网教程没有说明,但是如果不初始化,运行就会报错。
参考博客:http://honggang.io/2016/08/19/tensorflow-data-reading/
相关文章推荐
- Tensorflow数据读取有三种方式(next_batch)
- 13、Tensorflow:Tensorflow数据读取有三种方式(next_batch)
- 详解Tensorflow数据读取有三种方式(next_batch)
- TensorFlow基础4:四种类型数据的读取流程及API讲解和代码实现
- Java基础知识强化之网络编程笔记17:Android网络通信之 使用Http的Post方式读取网络数据(基于HTTP通信技术)
- TensorFlow全新的数据读取方式:Dataset API入门教程
- TensorFlow全新的数据读取方式:Dataset API入门教程
- Tensorflow读取数据的4种方式(8)---《深度学习》
- TensorFlow全新的数据读取方式:Dataset API入门教程
- Java基础知识强化之网络编程笔记18:Android网络通信之 使用HttpClient的Post / Get 方式读取网络数据(基于HTTP通信技术)
- Android基础—XML数据解析的三种方式
- 云端TensorFlow读取数据IO的高效方式
- Tensorflow载入数据的三种方式
- TensorFlow全新的数据读取方式:Dataset API——tf.data.Dataset
- 关于oracle数据库读取数据的三种方式
- Android中数据存储的三种方式--基础
- TensorFlow全新的数据读取方式:Dataset API入门教程
- TensorFlow全新的数据读取方式:Dataset API入门教程(转)
- Extjs从后台读取数据的三种方式
- tensorflow载入数据的三种方式 之 TF生成数据的方法