两篇关于用DL做Semantic Image Segmentation的文章
2015-05-26 09:55
495 查看
一、Weakly- and Semi-Supervised Learning of a Deep Convolutional Networkfor Semantic Image Segmentation
这篇文章的主要贡献点在于:
1、 实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型。
2、 可以利用bounding box 来进行训练,并且得到了较好的结果,这样可以代替用pixel-label训练中的Grund truth
3、 当我们用小量的pixel-level anotatations和大量的图像整体的弱标签来进行半监督学习,其训练结果可以和全部用pixel-level anotatations差不多
4、 利用额外的强弱标签可以进一步提高效果(这一点不是太懂)。
这是用image-level labels来做的,其中通过对图像的标签对于每个像素进行处理,如果该像素的用CNN得到的score map中有该图像标签,则对m位置处的CNN输出做调整并选取其中最大值作为最新标签,然后用M步中的批量梯度下降法得到新的CNN参数(这个步骤和之前用pixel-level做是一样的),不再需要人工来做大量的工作进行像素级的标定。但是这种方法不太准确,所以用像素级的一部分标签加上图像的标签来进行训练。
二、Fully Convolutional Networks for Semantic Segmentation
这篇文章感觉很难懂,想了好久最后感觉这个题目的意思是这个网络里面没有全连接层了,而是全部是卷积层。其中基本的思想就是以前的文章都是以一个区域的图像通过CNN得到一个标签,即该区域的分类,现在是要做像素级的分类,这样那种做法就不合适了,最后的输出应该是每个点输入每类的一个概率图,根据概率图和其他信息(semantic
image segmentation with deepconvolutional nets and fully connected CRFs)就可以得到分割结果了
大致的核心框架用上面的图来表示,即通过多次pooling后feature图会比较小,后面不再是全连接层,而是通过不同层的上采样来得到最终的prediction maps,从而得到像素级的分类,即完成了分割,当然当3中方式中8x upsampled prediction (FCN-8s)的效果更好,原因是利用了更多的信息,另一方面,semantic image segmentation withdeep convolutional nets and fully connected CRFs利用新的方式(hole算法)来计算dense
features,并加入CRF进行多次迭代获得最优分割结果。在结果上是达到了71.6% IOU accuracy。
结果上是比微软的还有上面提出的方法要好。上面都是几篇关于用DL做图像分割的文章,最近也是调研的比较多,新文章看起来也是一知半解,最近确实也有些忙,准备考试啥的,希望下个月能好点。
这篇文章的主要贡献点在于:
1、 实验证明仅仅利用图像整体的弱标签很难训练出很好的分割模型。
2、 可以利用bounding box 来进行训练,并且得到了较好的结果,这样可以代替用pixel-label训练中的Grund truth
3、 当我们用小量的pixel-level anotatations和大量的图像整体的弱标签来进行半监督学习,其训练结果可以和全部用pixel-level anotatations差不多
4、 利用额外的强弱标签可以进一步提高效果(这一点不是太懂)。
这是用image-level labels来做的,其中通过对图像的标签对于每个像素进行处理,如果该像素的用CNN得到的score map中有该图像标签,则对m位置处的CNN输出做调整并选取其中最大值作为最新标签,然后用M步中的批量梯度下降法得到新的CNN参数(这个步骤和之前用pixel-level做是一样的),不再需要人工来做大量的工作进行像素级的标定。但是这种方法不太准确,所以用像素级的一部分标签加上图像的标签来进行训练。
二、Fully Convolutional Networks for Semantic Segmentation
这篇文章感觉很难懂,想了好久最后感觉这个题目的意思是这个网络里面没有全连接层了,而是全部是卷积层。其中基本的思想就是以前的文章都是以一个区域的图像通过CNN得到一个标签,即该区域的分类,现在是要做像素级的分类,这样那种做法就不合适了,最后的输出应该是每个点输入每类的一个概率图,根据概率图和其他信息(semantic
image segmentation with deepconvolutional nets and fully connected CRFs)就可以得到分割结果了
大致的核心框架用上面的图来表示,即通过多次pooling后feature图会比较小,后面不再是全连接层,而是通过不同层的上采样来得到最终的prediction maps,从而得到像素级的分类,即完成了分割,当然当3中方式中8x upsampled prediction (FCN-8s)的效果更好,原因是利用了更多的信息,另一方面,semantic image segmentation withdeep convolutional nets and fully connected CRFs利用新的方式(hole算法)来计算dense
features,并加入CRF进行多次迭代获得最优分割结果。在结果上是达到了71.6% IOU accuracy。
结果上是比微软的还有上面提出的方法要好。上面都是几篇关于用DL做图像分割的文章,最近也是调研的比较多,新文章看起来也是一知半解,最近确实也有些忙,准备考试啥的,希望下个月能好点。
相关文章推荐
- DeepLab:深度卷积网络,多孔卷积 和全连接条件随机场 的图像语义分割 Semantic Image Segmentation with Deep Convolutional Nets, Atro
- [DIS]Deep Dual Learning for Semantic Image Segmentation
- 关于JAVA并发性的两篇文章
- 转帖两篇关于ACE和boost::asio的文章
- [IDW-CNN]Learning Object Interactions and Descriptions for Semantic Image Segmentation
- 两篇关于VMWare虚拟机共享主机IP地址的文章
- 关于Android中Message机制的两篇文章
- 关于Caching的文章两篇,作者翻译的不错!【转】
- Deeplab v3 | Rethinking Atrous Convolution for Semantic Image Segmentation
- 两篇关于论文格式等问题的文章
- Fine-Grained Histopathological Image Analysis via Robust Segmentation and Large-Scale Retrieval文章总结
- 转贴豆腐的两篇文章——用aspimage制作图形(二)
- 【CVPR2017论文】Loss Max-Pooling for Semantic Image Segmentation
- 关于DataTable的两篇基础文章
- Semantic Segmentation -- (DeepLabv2)Semantic Image Segmentation ... Fully Connected CRFs论文解读
- FCN-for-semantic-image-segmentation 训练过程的一些坑记录
- Classification with an edge: Improving semantic image segmentation with boundary detection
- 关于mybatis的注释,写的很好的两篇文章
- 文章 contour detection and hierarchical image segmentation 源代码 编译
- 关于开源的两篇文章