L2 normalization 为什么能够降低过拟合

L2 normalization 为什么能够降低过拟合？

假设 cost function 为：

J(w,b)=1m∑ni=0(yi^−yi)2+λ2m∑Ll=1||w[l]||2F

其中：

||w[l]||2F=∑n[l−1]i=1∑n[l]j=1||wij||2

假定激活函数使用：g(z)=tanh(z)

若使成本函数最小化，若λ 变大，则，w[l]变小，那么，z[l]=w[l]a[l−1]+b[l]变小

对于tanh(z)函数，当z很小时，z≈tanh(z) ,所以，activation function 就可以看作linear function

若每层的激活函数都是线性函数，那么整个神经网络学习到的依然是线性函数。

这也就解释了，为什么正则化能够降低过拟合。