什么是过拟合问题,怎么样避免.

正则化 Regularization

        为了和正规方程(normal equation)里”正规”区分开来，这里Regularization都译作“正则化”，有些地方也用的是“正规化”。以下内容来自wikipedia)：

        正则化是指通过引入额外新信息来解决机器学习中过拟合问题的一种方法。这种额外信息通常的形式是模型复杂性带来的惩罚度。正则化的一种理论解释是它试图引入奥卡姆剃刀原则。而从贝叶斯的观点来看，正则化则是在模型参数上引入了某种先验的分布。

        机器学习中最常见的正则化是L1和L2正则化。正则化是在学习算法的损失(成本)函数E(X,Y)的基础上在加上一项正则化参数项：E(X,Y)+α|w|，其中w是参数向量，α是正则项的参数值，需要在实际训练中调整。正则化在许多模型中都适用，对于线性回归模型来说，采用L1正则化的模型叫作lasso回归，采用L2的叫作ridge回归。对于logistic回归，神经网络，支持向量机，随机条件场和一些矩阵分解方法，正则化也适用。在神经网络中，L2正则化又叫作“权重衰减”(weight
decay)。L1正则化能产生稀疏模型，因此在特征选择中很有用，但是L1范式不可微，所以需要在学习算法中修改，特别是基于梯度下降的算法。

过拟合问题

        欠拟合(也叫做高偏差(high bias))是指不能很好地拟合数据，一般是因为模型函数太简单或者特征较少。

        过拟合问题是指过于完美拟合了训练集数据，而对新的样本失去了一般性，不能有效预测新样本，这个问题也叫做高方差(high variances)。造成过拟合的原因可能是特征量太多或者模型函数过于复杂。线性回归和logistic回归都存在欠拟合和过拟合的问题。

要解决过拟合的问题，通常有两种方法：

1.减少特征数量

        手动筛选特征

        采用特征筛选算法

2.正则化

        保留所有的特征，但尽可能使参数θj尽量小。

正则化在很多特征变量对目标值只有很小影响的情况下非常有用。