【深度学习】Inception的前世今生(四)--Inception V4,Inception-ResNet
2017-10-26 15:07
537 查看
Inception的系列文章:
1. Inception v1 -《Going deeper with convolutions》
https://arxiv.org/abs/1409.4842
2. Inception v2 - 《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
3. Inception v3 - 《Rethinking the Inception Architecture for Computer Vision》
https://arxiv.org/abs/1512.00567
本文论文: 《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》
https://arxiv.org/abs/1602.07261
google做事一般都是比较靠谱的,会把一个东西翻来覆去的研究透。本文主要描述Inception的第四个变种和Inception-ResNet.
这篇文章可以看做是由图写的文章,都是图。。
Inception v1在结构上还是比较粗糙的,
Inception v2在v1的基础上,引入了batch_normalization.
Inception v3则又引入了 addition factorization。
Inception的好处很清楚,构造类似于人脑的稀疏连接,降低网络的计算量和参数量。
2015的ResNet的残差连接residual connections 可以有效的训练深层次的网络。
那么是否可以将两者结合呢?
Google将其结合后的Inception-ResNet又突破了ImageNet上的top5 error,达到了3.08%的新高。
本文动机:
本文主要围绕着一个中心问题,也就是把Inception结构和residual connection结合起来会不会带来额外的benefit
因此本文将介绍两个结构:1)Inception + Residual connection 2) Inception V4
原因起于在2015的He 的ResNet中,作者认为residual connection可以有效的训练very deep。为了使inception更加deeper,作者尝试在Inception结构上加入Residual connection, 以便于训练的更加deep。
同时,作者也考虑了如果只用Inception结构,能否训练的更加deeper,因此提出了Inception V4
相关工作:
He KaiMing认为residual connection在训练very deep的卷积模型时是十分必要的。但本文作者却发现在训练一个competitive very deep networks without residual connection也不是特别有困难。然而residual connection在加速训练中却起着重要的作用。
Inception V4:
整体结构:
下面是对上面整体结构的拆分:
Stem:
Inception A
Inception B
Inception C
两个缩小尺度的reduction
reductionA
reductionB
Inception ResNet:
本文设计了两种Inception ResNet, 分别是Inception-ResNet-v1,其的计算量类似于Inceptionv3。第二个则是Inception-ResNet-v2,其计算量等同于上述的Inceptionv4.
其中细节还是翻论文吧。这篇文章也没讲述这么设计Inception的原因,反正都是结构图。
个人觉得这完全是不断的试错试出来的吧。完全是深度调参,玄学。
总感觉没有ResNet的变体给我的惊艳感。
【深度学习】Inception的前世今生(一)–GoogLeNet
http://blog.csdn.net/shwan_ma/article/details/78933055
【深度学习】Inception的前世今生(三)–Inception V3
http://blog.csdn.net/shwan_ma/article/details/78326897
1. Inception v1 -《Going deeper with convolutions》
https://arxiv.org/abs/1409.4842
2. Inception v2 - 《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
3. Inception v3 - 《Rethinking the Inception Architecture for Computer Vision》
https://arxiv.org/abs/1512.00567
本文论文: 《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》
https://arxiv.org/abs/1602.07261
google做事一般都是比较靠谱的,会把一个东西翻来覆去的研究透。本文主要描述Inception的第四个变种和Inception-ResNet.
这篇文章可以看做是由图写的文章,都是图。。
Inception v1在结构上还是比较粗糙的,
Inception v2在v1的基础上,引入了batch_normalization.
Inception v3则又引入了 addition factorization。
Inception的好处很清楚,构造类似于人脑的稀疏连接,降低网络的计算量和参数量。
2015的ResNet的残差连接residual connections 可以有效的训练深层次的网络。
那么是否可以将两者结合呢?
Google将其结合后的Inception-ResNet又突破了ImageNet上的top5 error,达到了3.08%的新高。
本文动机:
本文主要围绕着一个中心问题,也就是把Inception结构和residual connection结合起来会不会带来额外的benefit
因此本文将介绍两个结构:1)Inception + Residual connection 2) Inception V4
原因起于在2015的He 的ResNet中,作者认为residual connection可以有效的训练very deep。为了使inception更加deeper,作者尝试在Inception结构上加入Residual connection, 以便于训练的更加deep。
同时,作者也考虑了如果只用Inception结构,能否训练的更加deeper,因此提出了Inception V4
相关工作:
He KaiMing认为residual connection在训练very deep的卷积模型时是十分必要的。但本文作者却发现在训练一个competitive very deep networks without residual connection也不是特别有困难。然而residual connection在加速训练中却起着重要的作用。
Inception V4:
整体结构:
下面是对上面整体结构的拆分:
Stem:
Inception A
Inception B
Inception C
两个缩小尺度的reduction
reductionA
reductionB
Inception ResNet:
本文设计了两种Inception ResNet, 分别是Inception-ResNet-v1,其的计算量类似于Inceptionv3。第二个则是Inception-ResNet-v2,其计算量等同于上述的Inceptionv4.
其中细节还是翻论文吧。这篇文章也没讲述这么设计Inception的原因,反正都是结构图。
个人觉得这完全是不断的试错试出来的吧。完全是深度调参,玄学。
总感觉没有ResNet的变体给我的惊艳感。
【深度学习】Inception的前世今生(一)–GoogLeNet
http://blog.csdn.net/shwan_ma/article/details/78933055
【深度学习】Inception的前世今生(三)–Inception V3
http://blog.csdn.net/shwan_ma/article/details/78326897
相关文章推荐
- 系统学习深度学习(二十一)--GoogLeNetV4与Inception-ResNet V1,V2
- 深度学习,图像分类,从vgg到inception,到resnet
- 【深度学习】Inception的前世今生(三)--Inception V3
- 深度学习--Inception-ResNet-v1网络结构
- 【深度学习】Inception的前世今生(一)--GoogLeNet
- 卷积神经网络(六):谷歌的深度学习网络架构Inception与Inception-ResNet
- 互联网世界的“人工智能”——探秘“深度学习”的前世今生
- 深度学习——卷积神经网络 的经典网络(LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet)
- TensorFlow 深度学习框架(9)-- 经典卷积网络模型 : LeNet-5 模型 & Inception-v3 模型
- AI理论学习笔记(一):深度学习的前世今生
- TensorFlow 深度学习框架(9)-- 经典卷积网络模型 : LeNet-5 模型 & Inception-v3 模型
- 深度学习之GoogleNet and ResNet
- TensorFlow实现经典深度学习网络(4):TensorFlow实现ResNet
- 【深度学习论文】ResNet
- [深度学习]Deep Residual Learning for Image Recognition(ResNet,残差网络)阅读笔记
- AI理论学习笔记(一):深度学习的前世今生
- 文章学习《语音识别的前世今生|深度学习彻底改变对话式人工智能》
- TensorFlow 深度学习框架(9)-- 经典卷积网络模型 : LeNet-5 模型 & Inception-v3 模型
- 【深度学习】论文导读:GoogLeNet模型,Inception结构网络简化(Going deeper with convolutions)
- TensorFlow实现经典深度学习网络(3):TensorFlow实现Google Inception Net