Tensorflow 在训练中的内存溢出以及线程安全问题

这是笔者项目中用到的部分代码：

with tf.Session() as sess:
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)

for i in range(TRAIN_NUM*5):
# ！ 这里注意，不能在迭代中进行增加节点的操作，例如 tf.cast, tf.convert等等，否则计算机会因为节点数量过多而溢出。
# !  这里，返回的结果应当用同一个sess.run()得到，不要在同一个循环中两次调用sess.run()，否则在多线程中可能会导致混乱。
image, label, file_name, image_encode_eval = sess.run([images_decode, labels, file_names, image_encode])
file_name = str(file_name, encoding='utf8').replace('.jpg', '')

# 转换后的展示图片
# plt.imshow(image_transfer.eval())
# plt.title(file_name)
# plt.show()

with tf.gfile.GFile(TRAIN_SUPPLEMENT_PATH+file_name+'_'+str(i)+'.jpg', 'wb') as f:
f.write(image_encode_eval)
if i%100==0:
print('step %d, pic: %s' % (i,file_name))

coord.request_stop()
coord.join(threads)

这里是对图像进行处理的迭代过程，用到了多线程；

在迭代过程中，有两点需要注意：

1 不能在迭代中使用tf.cast() 或者 tf.convert() 等会增加图节点的方法，否则随着迭代的进行，tf的图会越来越大，最终导致溢出；

2 在每轮的迭代中，用sess.run()一次性返回所有需要的结果，不要多次调用sess.run()，因为在同一轮迭代中调用多次sess.run()，意味着会从多个线程中取值，这回导致数据的混乱。