SAE模型

Stacked Autoencoder（SAE）模型是一个由多层稀疏自编码器组成的深度神经网络模型，其前一层自编码器的输出作为其后一层自编码器的输入，最后一层是个分类器（logistic分类器或者softmax分类器）

（一）sparse autoencoder算法



1.概念：sparse autoencoder是一种非监督学习算法，需要满足以下两种约束：

（1）autoencoder：输入等于输出



（2）sparse：隐层的每个神经元的响应是稀疏的，也就是大部分时间响应为0，也就是平均响应

尽可能小（其中m为训练样本个数）



2.代价函数



其中：


（1）第一项为autoencoder的约束项；

（2）第二项为惩罚项目，防止过拟合；

（3）第三项为稀疏的约束，是一个KL散度的衡量标准：

          


3.最优化方案：该约束函数是一个非凸函数，采用批量梯度下降算法



其中：



至于梯度可以用backpropagation（BP）算法来求解；

（二）logistic回归模型与softmax回归模型

1.logistic回归模型

（1）适用于二分类；

（2）模型函数：



（3）代价函数（最大似然）：



（4）最优化方案：梯度下降算法；

2.softmax回归模型

（1）适用于多分类；

（2）模型函数：


（3）代价函数：



（4）最优化方案：梯度下降算法；

3.softmax回归分类器适用于k个互斥的类别的分类；k个logistic回归分类器适用k个并不完全互斥的类别的分类；

（三）SAE模型



（1）预训练：利用无标签数据对每一层的参数用sparse autoencoder训练初始化；

（2）微调：利用有标签数据对整个深度神经网络进行微调；