过拟合（overfitting） vs 正则化（regularization）

上面是一个加入了正则化的线性回归（linear regression）的损失方程（loss function）。

Lambda调优

Lambda太小发挥正则化的作用会较小，太大会低估（underfitting）模型。

Regularization methods (L1 & L2)

上面正则化方法是Ridge Regression (L2) 。另外一个叫 Lasso Regreesion (L1),，是将每一个系数的绝对值加起来。当然也可将将二者结合起来，得到Elastic Net Regression 。L2 regularization tends to yield a “dense”解，各个参数会平等的被降低。L1 会生成比较“sparse”的解，找到最重要的feature，忽略其他的，因此常用来做feature的筛选。（？）

参考：

1. http://dshincd.github.io/blog/regularization/

2. 统计机器学习

3. Regularization in Statistics