使用TensorFlow编写损失函数 交叉熵(cross entrophy)| 均方误差(MSE)
2017-06-15 19:16
274 查看
一. 交叉熵,用于分类问题:
4分类问题,数据的批大小为2,所以此处标签可以用 2*4的矩阵表示,特别注意:输出层为softmax层。
y_:数据的正确标签,用one hot码表示
y1:第一批输入softmax层的激活值
y2:第二批输入softmax层的激活值
output1:第一批的最终输出结果
output2:~
cross_entropy1:使用y1的交叉熵
cross_entropy2:~
这里说明一下为什么使用softmax层作为输出层:
1. 使用softmax即假设每种分类之间是相互对立的,因此所有的输出值相加为1(即输出的所有概率之和为1),如果没有相互对立的假设,则不能使用softmax
(例如:当对一个人按肤色进行分类预测时,由于一个人只有可能是黄、白、黑三种之一,因此 p(白) + p(黄) + p(黑)=1,此时可以使用softmax作为输出层);
2. softmax可以令每一个元素属于(0,1)的范围内,从而避免log0发生。
二、均方误差,用于回归问题:
输出为一个数值,批大小为3,因此是3*1的矩阵可以表示
4分类问题,数据的批大小为2,所以此处标签可以用 2*4的矩阵表示,特别注意:输出层为softmax层。
y_:数据的正确标签,用one hot码表示
y1:第一批输入softmax层的激活值
y2:第二批输入softmax层的激活值
output1:第一批的最终输出结果
output2:~
cross_entropy1:使用y1的交叉熵
cross_entropy2:~
这里说明一下为什么使用softmax层作为输出层:
1. 使用softmax即假设每种分类之间是相互对立的,因此所有的输出值相加为1(即输出的所有概率之和为1),如果没有相互对立的假设,则不能使用softmax
(例如:当对一个人按肤色进行分类预测时,由于一个人只有可能是黄、白、黑三种之一,因此 p(白) + p(黄) + p(黑)=1,此时可以使用softmax作为输出层);
2. softmax可以令每一个元素属于(0,1)的范围内,从而避免log0发生。
import tensorflow as tf y_ = tf.constant([1,0,0,0,0,0,0,1],dtype=tf.float32,shape=[2,4]) y1 = tf.constant([1,0,0,0,0,0,0,1],dtype=tf.float32,shape=[2,4]) y2 = tf.constant([5,0,0,0,0,0,0,10],dtype=tf.float32,shape=[2,4]) output1 = tf.nn.softmax(y1) output2 = tf.nn.softmax(y2) cross_entropy1 = -tf.reduce_mean(y_*tf.log(output1)) cross_entropy2 = -tf.reduce_mean(y_*tf.log(output2)) sess = tf.InteractiveSession() print('output 1:',output1.eval()) print('output 2:',output2.eval()) print('cross entropy 1:',cross_entropy1.eval()) print('cross entropy 2:',cross_entropy2.eval())
二、均方误差,用于回归问题:
输出为一个数值,批大小为3,因此是3*1的矩阵可以表示
import tensorflow as tf y_ = tf.constant([1,2,3],dtype=tf.float32,shape=[3,1]) y1 = tf.constant([1,2,3],dtype=tf.float32,shape=[3,1]) y2 = tf.constant([2,3,4],dtype=tf.float32,shape=[3,1]) MSE1 = tf.reduce_mean(tf.square(y1-y_)) MSE2 = tf.reduce_mean(tf.square(y2-y_)) print('MSE 1:',MSE1.eval()) print('MSE 2:',MSE2.eval())
相关文章推荐
- TensorFlowSharp入门使用C#编写TensorFlow人工智能应用
- TensorFlow中的tf.nn.softmax_cross_entropy_with_logits 交叉熵 损失函数
- 使用TensorFlow编写识别数字的CNN训练程序详解
- 为什么交叉熵损失可以提高具有sigmoid和softmax输出的模型的性能,而使用均方误差损失则会存在很多问题
- matlab训练神经网络时,使用mse(均方误差)以外的性能函数。
- 使用 TensorFlow 在卷积神经网络上实现 L2 约束的 softmax 损失函数
- 机器学习使用交叉熵作为损失函数的原因
- 第一次使用tensorflow编写程序
- 为什么在神经网络中要使用交叉熵而不是均方差作为损失函数
- TensorFlowSharp入门使用C#编写TensorFlow人工智能应用
- 深度学习框架TensorFlow学习与应用(三)——使用交叉熵作为代价函数
- 使用Tensorflow训练神经网络模型---自定义损失函数
- 使用游标编写的存储过程进行分页
- mono:直接使用MSIL指令编写mono程序
- 2004.7.15 [C#学习记录]使用C#编写一个自定义控件
- 编写 "纯HTML" jsp应用--学会使用 JSTL
- 使用VB6编写组件隐藏数据库的连接字符串
- Delphi使用VB编写的ActiveX控件全攻略
- [原创]使用Visual Studio .NET编写纯C程序的提示
- 使用WML和ASP编写动态手机页面