tensorflow 的 Batch Normalization 实现(tf.nn.moments、tf.nn.batch_normalization)
2017-04-26 11:41
756 查看
tensorflow 在实现 Batch Normalization(各个网络层输出的归一化)时,主要用到以下两个 api:
tf.nn.moments(x, axes, name=None, keep_dims=False) ⇒ mean, variance:
统计矩,mean 是一阶矩,variance 则是二阶中心矩
tf.nn.batch_normalization(x, mean, variance, offset, scale, variance_epsilon, name=None)
tf.nn.batch_norm_with_global_normalization(t, m, v, beta, gamma, variance_epsilon, scale_after_normalization, name=None)
由函数接口可知,tf.nn.moments 计算返回的 mean 和 variance 作为 tf.nn.batch_normalization 参数进一步调用;
如我们需计算的 tensor 的 shape 为一个四元组
这里我们仅给出 a_mean, a_var 的维度信息,
tf.nn.moments(x, axes, name=None, keep_dims=False) ⇒ mean, variance:
统计矩,mean 是一阶矩,variance 则是二阶中心矩
tf.nn.batch_normalization(x, mean, variance, offset, scale, variance_epsilon, name=None)
tf.nn.batch_norm_with_global_normalization(t, m, v, beta, gamma, variance_epsilon, scale_after_normalization, name=None)
由函数接口可知,tf.nn.moments 计算返回的 mean 和 variance 作为 tf.nn.batch_normalization 参数进一步调用;
1. tf.nn.moments,矩
tf.nn.moments 返回的 mean 表示一阶矩,variance 则是二阶中心矩;如我们需计算的 tensor 的 shape 为一个四元组
[batch_size, height, width, kernels],一个示例程序如下:
import tensorflow as tf shape = [128, 32, 32, 64] a = tf.Variable(tf.random_normal(shape)) # a:activations axis = list(range(len(shape)-1)) # len(x.get_shape()) a_mean, a_var = tf.nn.moments(a, axis)
这里我们仅给出 a_mean, a_var 的维度信息,
sess = tf.Session() sess.run(tf.global_variables_initalizer()) sess.run(a_mean).shape # (64, ) sess.run(a_var).shape # (64, ) ⇒ 也即是以 kernels 为单位,batch 中的全部样本的均值与方差
references
谈谈Tensorflow的Batch Normalization相关文章推荐
- tensorflow学习——tf.layers.batch_normalization/tf.nn.batch_normalization/tf.contrib.layers.batch_norm
- tensorflow图片归一化之tf.layers.batch_normalization/tf.nn.batch_normalization/tf.contrib.layers.batch_norm
- TensorFlow:tf.nn.max_pool实现池化操作(转载)
- 【TensorFlow】tf.nn.max_pool实现池化操作
- 【TensorFlow】tf.nn.max_pool实现池化操作
- TensorFlow--tf.nn.max_pool实现池化操作
- 【Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积?
- 【TensorFlow】tf.nn.conv2d如何实现卷积
- 【TensorFlow】tf.nn.local_response_normalization详解,lrn正则法如何计算?
- TensorFlow学习---tf.nn.conv2d实现卷积操作
- 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?
- 【Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积?
- 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?
- 【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积?
- tensorflow实现batch normalization
- 【TensorFlow】tf.nn.max_pool实现池化操作
- 【TensorFlow】tf.nn.conv2d实现卷积
- TensorFlow 用 tf.nn.max_pool 实现最大池化操作
- Tensorflow函数:tf.nn.softmax_cross_entropy_with_logits 讲解
- 【TensorFlow】tf.nn.conv2d是怎样实现卷积的?