理解机器学习中的偏差与方差

一、过拟合现象
在说明机器学习中的偏差与方差之前，我们先来看一下什么是模型对数据的欠拟合与过拟合。
欠拟合就是模型没有很好地捕捉到数据特征，不能够很好地拟合数据

过拟合就是模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力太差。
二、偏差与方差
然后我们看一下什么是偏差什么是方差。
偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。
方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。



三、过拟合与偏差之间的联系

那在机器学习中模型的过拟合与欠拟合又与偏差和方差有什么关系呢？下图给了我们一个很直观的例子。

四、如何解决高偏差、高方差问题？

那么遇见高偏差或者高方差问题我们应该如何解决呢？

1.  获得更多的训练实例——解决高方差

2.  尝试减少特征的数量——解决高方差

3.  尝试获得更多的特征——解决高偏差

4.  尝试增加多项式特征——解决高偏差

5.  尝试减少归一化程度 λ——解决高偏差

6.  尝试增加归一化程度 λ——解决高方差