Visualizing Higher-Layer Features of a Deep Network(经典文章阅读)
2014-10-30 21:57
453 查看
一.文献名字和作者
Visualizing Higher-Layer Features of a Deep Network, Dumitru Erhan, Yoshua Bengio, Aaron Courville, and Pascal Vincent二.阅读时间
2014年10月30日三.文献的目的
寻找可以可视化DNN中深层次特征的方法四.文献的贡献点
文章提出了两种方法用于可视化DNN学习到的高层特征,第一种是激活最大化,主要用于使用RBM进行初始化的DNN;第二种方法是DBN中进行采样的方法,也就是从DBN的输出进行从顶到底的方法进行计算来得到输入的样本。4.1 激活最大化
对于激活最大化方法,主要是计算使得第j个隐藏层的第i个神经元激活最大化时的输入样本,可以根据下面的式子来计算从上面的式子可以看出,求解上面式子的过程就是在知道了网络参数θ之后,使用梯度上升来进行求解。与梯度下降类似,该方法也需要设定学习速率和迭代次数。
4.2 在DBN中进行采样
由于DBN本身就是一个从顶到底的生成模型,因此,可以通过将第j个隐藏层的第i个神经元设置为1,而将第j个隐藏层的其他神经元设置为0,然后从顶向下计算,就可以得到输入样本的值。4.3 线性组合
该方法是Lee等人提出来的,主要的思路就是,第二个隐藏层的某个神经元i学习到的特征是将第一个隐藏层的每一个神经元与输入的连接权重(也成为该神经元对应的滤波器)乘以第二个隐藏层的神经元i与其的连接权重。对于第三个隐藏层,也是采用类似的方法,但是,对于第二个隐藏层每一个神经元对应的滤波器,始终没想明白是什么意思。
五.使用的数据库
MNIST手写字体数据库和100000个12*12的自然图像的图像块。六.实验结果
七.评价
高级特征可视化对于特征学习来说,作用很大,但是,到目前为止,还是比较少有这方面的代码出现,倒是论文和tutorial中经常出现,因此,这篇文章,可以说是给DNN研究提供了特征展示的方法,在还没有完全的数学证明的情况下,起码给了我们一个可视化特征的方法,可以照着图来说明自己学习到的特征是否有效。但是,论文中也提到,激活最大化方法对于比较大的数据块时,优化过程就无法进入一个局部最优解;而对于从DBN中进行采样的方法,如果对于某一个隐藏层的激活值有多个输入样本与其对应时,采样方法就没有作用了。上面两个方法会失效是因为输入分布的复杂性,对于MNIST和12*12的图像块而言,输入的分布是比较简单的,因此,才可以取得比较好的效果。
虽然文献中提到的两个方法都是有限制条件的,但是,在使用DNN进行图像处理的时候,应该还是多少能够起一些作用的,可以考虑实现一下。
版权所有,欢迎转载,转载请注明出处,谢谢
相关文章推荐
- Deep learning------------Visualizing Higher Layer Features of a Deep Network.
- 论文阅读:Multi-scale orderless pooling of deep convolutional activation features
- Improving neural networks by preventing co-adaptation of feature detectors(经典文章阅读)
- 经典文章系列: (ResNet) Deep Residual Learning for Image Recognition 论文阅读
- 经典文章(Deep Convolutional Network Cascade for Facial Point Detection)一文的实现
- Extracting and Composing Robust Features with Denoising Autoencoders(经典文章阅读)
- visualizing higher-layer featrues of a deep network
- Multi-Scale Orderless Pooling of Deep Convolutional Activation Features
- Deep Learning读书笔记(三):Greedy Layer-Wise Training of Deep Networks
- 论文阅读——译文:PortLand:A Scalable Fault-Tolerant Layer 2 Data Center Network Fabric
- Network of Schools hoj&poj 强连通分量的应用 经典题!
- [已完工][经典文章翻译]A Crash Course on the Depths of Win32 Structured Exception Handling
- What is the Best Multi-Stage Architecture for Object Recognition?(经典文章阅读)
- Principles of training multi-layer neural network using backpropagation
- [经典文章翻译]A Crash Course on the Depths of Win32 Structured Exception Handling
- 阅读笔记—Robust Image Sentiment Analysis using Progressively Trained and Domain Transferred Deep Network
- Learning multiple layers of representation(经典文献阅读)
- 经典英语阅读文章
- 考研英语阅读理解七篇经典文章解析(7)
- POJ 1236 Network of Schools ★(经典问题:强联通分量+缩点)