Deep Learning笔记1

若假设输入有范数约束||x||2=∑100i=1x2i≤1||x||^2=\sum_{i=1}^{100} x_i^2\leq1,则可证（请读者自行推导）令隐藏单元ii得到最大激励的输入应由下面公式计算的像素xjx_j给出（共需计算100个像素，j=1,…,100）：

xj=W(1)ij∑100j=1(W(1)ij)2√.x_j = \frac{W^{(1)}_{ij}}{\sqrt{\sum_{j=1}^{100} (W^{(1)}_{ij})^2}}.

上图的每个小方块都给出了一个（带有有界范数 的）输入图像\textstyle x，它可使这100个隐藏单元中的某一个获得最大激励。我们可以看到，不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。

如图是SparseAutoencoderSparse Autoencoder训练出的权值可视化图像

训练样本为64∗1000064 * 10000矩阵（8∗8图像块∗10图∗1000抽样/图8 * 8 图像块 * 10图 * 1000抽样/图）

权值W(1)W^{(1)}为64∗2564 * 25矩阵（8∗8输入∗25隐含层8*8 输入 * 25隐含层）

如果输入图像与第一个图像块一致（在满足上述引用约束条件下），则最有机会使第一个隐含层节点激活。