解剖caffe: Loss
2018-04-08 21:16
246 查看
在caffe中,正如大多机器学习那样,学习通过损失函数驱动(也常称作error, cost, 或objective function)。损失函数指定了学习的目标通过把网络权重映射到一个标量值来指定这些参数设置的“恶劣状态”。因此学习的目标就是发现权重的设置来最小化损失函数。
在caffe中,loss通过网络的前向传播计算。每一层使用输入blob(bottom)来产生输出blob(top)。这些层的输出的一部分就被用作损失函数。对于基于一对多分类任务的损失函数典型选择是SoftmaxWithLoss函数,在网络定义中类似下面的方式使用:
loss weights
对于具有多层产生损失的网络,例如一种网络使用SoftmaxWithLoss层分类输入和并同时使用EuclideanLoss层重构输入,loss weight能够用于指定相对重要性
按照惯例,type具有loss后缀的caffe层促成损失函数,但是其他层要被假定为纯碎用于中间计算。然而,任何层只要在layer定义中添加了loss_weight: <float>属性(层的top blob),就可以用作损失。具有loss后缀的layer对于第一个top blon具有隐含得loss_weight: 1,并且对于额外的tops是loss_weight: 0。其它层对于所有的tops,具有隐含的loss_weight: 0。因此上面的SoftmaxWithLoss能够等效的写成:
caffe中最终的损失,通过对网络中所有的加权损失求和,伪代码表示如下:
在caffe中,loss通过网络的前向传播计算。每一层使用输入blob(bottom)来产生输出blob(top)。这些层的输出的一部分就被用作损失函数。对于基于一对多分类任务的损失函数典型选择是SoftmaxWithLoss函数,在网络定义中类似下面的方式使用:
layer { name: "loss" type: "SoftmaxWithLoss" bottom: "pred" bottom: "label" top: "loss" }在一个SoftmaxWithLoss函数中,top blob是一个标量,在整个mini-batch上平均化损失(从预测的标签pred和实际的标签label)。
loss weights
对于具有多层产生损失的网络,例如一种网络使用SoftmaxWithLoss层分类输入和并同时使用EuclideanLoss层重构输入,loss weight能够用于指定相对重要性
按照惯例,type具有loss后缀的caffe层促成损失函数,但是其他层要被假定为纯碎用于中间计算。然而,任何层只要在layer定义中添加了loss_weight: <float>属性(层的top blob),就可以用作损失。具有loss后缀的layer对于第一个top blon具有隐含得loss_weight: 1,并且对于额外的tops是loss_weight: 0。其它层对于所有的tops,具有隐含的loss_weight: 0。因此上面的SoftmaxWithLoss能够等效的写成:
layer { name: "loss" type: "SoftmaxWithLoss" bottom: "pred" bottom: "label" top: "loss" loss_weight: 1 }然而,能够反向传播的任何层可能被给予一个非零loss_weight,若必要的话,允许例如正则化网络中间层产生的激活。对于具有相关非零损失的非单例输出,计算损失简单地通过对blobs的全部求和。
caffe中最终的损失,通过对网络中所有的加权损失求和,伪代码表示如下:
loss := 0 for layer in layers: for top, loss_weight in layer.tops, layer.loss_weights: loss += loss_weight * sum(top)
相关文章推荐
- caffe loss以及正则项反向传播过程
- 在Caffe中使用Baidu warpctc实现CTC Loss的计算
- Caffe中增加新的layer以及Caffe中triplet loss layer的实现
- caffe保存训练输出到log 并绘制accuracy loss曲线以及ssd画loss和accuracy曲线
- caffe Sigmoid cross entropy loss 交叉熵损失函数
- 【caffe】loss function、cost function和error
- caffe中添加自己的layer(以triplet loss为例)
- Caffe学习系列: 绘制loss和accuracy曲线
- DeepLearning(基于caffe)实战项目(8)--修改caffe源代码从添加loss(层)函数开始
- caffe源码解读(2)-center_loss_layer.cpp
- caffe学习笔记-深度网络优化过程中loss=nan
- caffe 训练中loss 为nan
- caffe tutorial 之 Loss
- caffe训练出错 loss= 87.3365
- 使用caffe训练时Loss变为nan的原因
- 【caffe】在windows下输出训练caffemodel的log日志并画出accuracy和loss曲线
- 修改caffe源代码--添加loss(层)函数--CPU
- caffe绘制loss曲线和accuracy的方法
- 利用caffe中自带的工具来可视化loss 和accuracy
- linux caffe 画loss和accuracy随iter变化的曲线