20140502-识别的微调阶段 （Fine-tuning for discrimination ）

0.此为《Hinton大师解析神经网络(neural_network)、信念网络(belief_net)、玻尔兹曼机(RBM) . ppt》的读书笔记

1.贪婪的学习每一层

2.把第1步得到的网络当作预训练好（pre-training）的数据，对他用局部搜索的过程（比如 后向传播）进行微调。

3.识别阿拉伯数字图像的实验结果：如下图



4.为什么贪婪预处理（greedy pre-training）和后向传播，有效呢？

优化角度：

1）逐层学习，是在放大网络，尤其是在每层都有局部最优的情况下。（为什么逐层训练就是放大网络）

2）后向传播是在已经得倒一个明智的网络之后进行的，并且是用来第一层已经聪慧的基础上进行的局部调整。

过度拟合的角度：

1）顶层权重就是对输入数据进行建模的。（此时，已经有了一个明显的类别边界了。ps：自己推测的）

2）后向传播是在稍微的调整类别的边界。

5.为什么无监督的预训练（pre-training）显示出智慧呢？

（ 原因没看懂）直接上图