论文笔记(2)-Dropout-Regularization of Neural Networks using DropConnect
2014-01-28 23:03
537 查看
这篇paper使用DropConnect来规则化神经网络。dropconnect和dropout的区别如下图所示。dropout是随机吧隐含层的输出清空，而dropconnect是input unit到hidden unit输入权值以1-p的概率清0
dropout的关键公式，其中m是size为d的列向量格式如下[0 0 1 0 0 0 1 1 ]T .这样的话就把隐层到输出层以一定的概率清空，概率一般为0.5
dropconnect的关键公式，其中M和上面的m一个含义。这个就是说从输入层到隐层就要有一定的概率来清空。
dropconnect的算法流程如下，和普通的算法不同的地方就是随机sample一个M mask，活动函数里面需要乘这个M
inference的过程如下图，对DropConnect进行推理时，采用的是对每个输入（每个隐含层节点连接有多个输入）的权重进行高斯分布的采样。该高斯分布的均值与方差当然与前面的概率值p有关，满足的高斯分布为：
dropout的关键公式，其中m是size为d的列向量格式如下[0 0 1 0 0 0 1 1 ]T .这样的话就把隐层到输出层以一定的概率清空，概率一般为0.5
dropconnect的关键公式，其中M和上面的m一个含义。这个就是说从输入层到隐层就要有一定的概率来清空。
dropconnect的算法流程如下，和普通的算法不同的地方就是随机sample一个M mask，活动函数里面需要乘这个M
inference的过程如下图，对DropConnect进行推理时，采用的是对每个输入（每个隐含层节点连接有多个输入）的权重进行高斯分布的采样。该高斯分布的均值与方差当然与前面的概率值p有关，满足的高斯分布为：
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Regularization of Neural Networks using DropConnect阅读
- 论文笔记之：Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
- [深度学习论文笔记][Weight Initialization] Data-dependent Initializations of Convolutional Neural Networks
- 论文笔记：Mastering the game of Go with deep neural networks and tree search
- 《image Style Transfer Using Convolutional Neural Networks》论文笔记
- 论文笔记《A Survey of Model Compression and Acceleration for Deep Neural Networks》
- 【论文笔记】Scalable Object Detection using Deep Neural Networks
- deeplearning论文学习笔记（2）A critical review of recurrent neural networks for sequence learning
- [深度学习论文笔记][Adversarial Examples] Intriguing properties of neural networks
- 论文笔记 Ensemble of Deep Convolutional Neural Networks for Learning to Detect Retinal Vessels in Fundus
- 论文笔记（一）Radio frequency interference mitigation using deep convolutional neural networks
- 论文笔记：Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
- 论文笔记之Label-Free Supervision of Neural Networks with Physics and Domain Knowledge
- 论文阅读笔记：Intriguing properties of neural networks
- LightRNN 论文笔记：LightRNN: Memory and Computation-Efficient Recurrent Neural Networks
- 论文笔记：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks
- 论文笔记：ImageNet Classification with Deep Convolutional Neural Networks
- 论文笔记：Efficient and Accurate Approximations of Nonlinear Convolutional Networks
- A Committee of Neural Networks for Traffic Sign Classification 阅读笔记
- 笔记-论文-OverFeat Integrated Recognition, Localization and Detection using Convolutional Networks