sparse autoencoder
2015-05-09 15:35
393 查看
1.autoencoder
autoencoder的目标是通过学习函数
，获得其隐藏层作为学习到的新特征。
从L1到L2的过程成为解构，从L2到L3的过程称为重构。
每一层的输出使用sigmoid方法，因为其输出介于0和1之间，所以需要对输入进行正规化
使用差的平方作为损失函数
2.sparse
spare的含义是，要求隐藏层每次只有少数的神经元被激活：隐藏层的输出a，a接近于0，称为未激活
a接近1，成为激活
使用如下方法衡量：
每个隐藏层的神经元有p的概率为激活，1-p的概率未激活（p一般取0.05、0.01等接近0的値）
用
作为p的估计
使用KL散度，衡量两个分布的差异性
3.代码参考
ufldl练习 tornadomeet的实现
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Sparse Autoencoder(2) --- BP(反向传播)
- 【UFLDL】Ex1-SparseAutoencoder 稀疏自编码器
- SparseAutoEncoder 稀疏自动编码器
- Deep learning：九(Sparse Autoencoder练习)
- DeepLearning_SparseAutoencoder
- Tensorflow Day17 Sparse Autoencoder
- UFLDL Exercise:Sparse Autoencoder
- （六）6.5 Neurons Networks Implements of Sparse Autoencoder
- Deep Learning 练习一：Sparse Autoencoder
- UFLDL 学习笔记——稀疏自动编码机（sparse autoencoder）
- Sparse Autoencoder（一）
- Sparse Autoencoder(稀疏自编码器)
- UFLDL Exercise:Sparse Autoencoder
- Deep learning：九(Sparse Autoencoder练习)
- UFLDL Exercise:Sparse Autoencoder
- Sparse Autoencoder3-Gradient checking and advanced optimization
- Sparse AutoEncoder (1)
- Stanford UFLDL教程 Exercise:Sparse Autoencoder
- 深度学习(二)sparse autoencoder的Python实现
- Exercise:Sparse Autoencoder 代码示例