捋顺 用于分类任务的softmax 和softmaxwithloss
2017-07-01 15:58
519 查看
1、softmax 函数:
定义:
以上公式:假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的Softmax值就可以用以上公式表示。也就是说,是该元素的指数,与所有元素指数和的比值。(是不是很简单)
知乎上有人用下图的方式解释了softmax函数:
![](http://img.blog.csdn.net/20170701160217827?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd29uZW5nZ3V3b3phaQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
总的来讲:就是把一堆实数的值映射到0-1区间,并且使他们的和为1。一般用来估计posterior
probability,在多分类任务中有用到。sigmoid函数只能分两类,而softmax能分多类,softmax是sigmoid的扩展。
2、softmaxwithloss (计算与标注样本的差距)
在神经网络的计算当中,我们经常需要计算按照神经网络的正向传播计算的分数S1,和按照正确标注计算的分数S2,之间的差距,计算Loss,才能应用反向传播。Loss定义为交叉熵:
取log里面的值就是这组数据正确分类的Softmax值,它占的比重越大,这个样本的Loss也就越小,这种定义符合我们的要求。
定义:
以上公式:假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的Softmax值就可以用以上公式表示。也就是说,是该元素的指数,与所有元素指数和的比值。(是不是很简单)
知乎上有人用下图的方式解释了softmax函数:
总的来讲:就是把一堆实数的值映射到0-1区间,并且使他们的和为1。一般用来估计posterior
probability,在多分类任务中有用到。sigmoid函数只能分两类,而softmax能分多类,softmax是sigmoid的扩展。
2、softmaxwithloss (计算与标注样本的差距)
计算与标注样本的差距
在神经网络的计算当中,我们经常需要计算按照神经网络的正向传播计算的分数S1,和按照正确标注计算的分数S2,之间的差距,计算Loss,才能应用反向传播。Loss定义为交叉熵:取log里面的值就是这组数据正确分类的Softmax值,它占的比重越大,这个样本的Loss也就越小,这种定义符合我们的要求。
相关文章推荐
- 卷积神经网络系列之softmax,softmax loss和cross entropy的讲解
- SoftmaxWithLossLayer 详细讲解
- 从零开始编写深度学习库(一)SoftmaxWithLoss CPU编写
- 反向传导算法 & SOFTMAX & Innerproduct_layer.cpp & softmax_loss_layer.cpp
- 卷积神经网络系列之softmax,softmax loss和cross entropy的讲解
- softmax,softmax loss 和cross entropy的讲解
- 反向传导算法 & SOFTMAX & Innerproduct_layer.cpp & softmax_loss_layer.cpp
- Softmax vs. Softmax-Loss: Numerical Stability[转】
- Tensorflow 交叉熵计算 sparse_softmax_cross_entropy_with_logits softmax_cross_entropy_with_logits
- Softmax vs. Softmax-Loss: Numerical Stability
- 梳理caffe代码softmaxWithLoss(二十三)
- Caffe源码 - SoftmaxWithLossLayer
- 卷积神经网络系列之softmax,softmax loss和cross entropy的讲解
- CS231n Putting it together: Minimal Neural Network Case Study —— nn with softmax loss
- caffe SoftmaxWithLoss 层
- Caffe框架源码剖析(9)—损失层SoftmaxWithLossLayer
- SoftmaxLayer and SoftmaxwithLossLayer 代码解读
- caffe中的Accuracy+softmaxWithLoss
- caffe-损失层-SoftmaxWithLossLayer 和SoftmaxLayer
- softmaxwithloss入门及88.3365解决之道