机器学习（十） - - 模型评估和选择⑤偏差和方差

“偏差-方差分解”（bias-variancedecomposition）是解释学习算法泛化能力的重要工具。

//通过实验评估泛化能力之后，人们往往想知道“为啥”有这样的性能。

 

为了方便讨论，假定噪声期望为0，于是泛化误差可以分解为偏差方差和噪声之和：

 

具体公式推导见右：偏差-方差分解

 

偏差-方差分解说明，泛化性能是由学习算法的能力，数据的充分性以及学习任务本身的难度所共同决定的。

 

（要尽量让偏差和方差都小：偏差衡量拟合程度，方差衡量数据扰动）

-----------------------------------------------

偏差-方差窘境（bias-variancedilemma）：一般来说，偏差和方差是冲突的

 

训练不足时，学习器你和能力不强，这时偏差成为影响泛化误差的主力；训练加深时，拟合能力很强了之后方差成为主导因素；训练程度足够后，如果数据有非全局性可能导致过拟合（这就无奈了）。（图应该挺形象）





祝大家学习愉快~