Neural Networks: Learning(Andrew ng ML)

Neural Networks: Learning(Andrew ng ML)

1.Symmetry breaking

使用神经网络的时候，如果权重的初始化都是0，那么在反向传播过程中，从同一个神经元出发的边的权重都是相同的，所以这样下一层的每个神经元都是表达的相同的特征。

为了解决这个问题，采用随机初始化的方式。

2.减小网络大小

突然想起来一个见效网络大小的方法，忘了之前在哪里看到的了，通常是采用[n+m+n]的结构，n>m，这样的效果相当于做了一个pca，最后再加一个非线性，似乎能够小很多。

3.执行流程

－ 随机初始化

－ forward propagation

－ calculate J

－ backprop

－ 使用numerical estimate评估偏导

－ 使用bp去找到全局最优