论文笔记2——Dropout：A simple way to prevent neural networks from overfitting

本文主要介绍一种防止过拟合的方法-dropout
模型混合是一种可以用来改善机器学习性能的有效方法，通过将独立训练好的模型的输出求取平均值的方法，但是这种方法的代价是极其昂贵的。这种模型混合的方法是很有效的，当模型有完全不同的结构，且模型的训练应在不同的数据上进行。要训练出这恶中结构不同的神经网络是极其困难的：要为每个模型找到最优的超参数，同时训练每个网络的计算量是巨大的，同时，大的网络结构需要较大的训练样本。即便有能力训练出这些不同的网络，在测试阶段全部使用它们也是不可取的。
Dropout方法可以解决上面提到的问题，它可以用来防止过拟合，近乎一指数方式融合不同神经网络构。“dropout”是通过舍弃一些神经单元包括隐藏层和可见层的神经单元来工作的。这里舍弃一个神经单元，意味着暂时将它从网络结构中移去，同时将其输入与输出的连接断开。Dropout以概率P舍弃神经元，其他神经元以概率1-p保留，舍弃的神经元的输出都被设置为0，