机器学习的偏差-方差分解

假设样本变量为 XX ，它的标签 YY 为 XX 的函数 Y=f(X)+ϵY=f(X)+ϵ 。其中为 ϵϵ 机器学习模型学习不到的噪音。

对于机器学习模型 M,M, 假设训练后，对 XX 的预测值为 XX 的函数 f^(X)f^(X) 。

对于一个测试集中的样本点 xx ，它的标签 y=f(x)+ϵy=f(x)+ϵ

记 f=f(x),f=f(x),

假设 Eϵ=0,Varϵ=σ2E⁡ϵ=0,Var⁡ϵ=σ2

使用不同的训练集对 MM 进行多次训练，每次训练后都记录在点 xx 的预测值 f^(x)f^(x) 。

记 f^=f^(x),f^=f^(x), 则可把 f^f^ 视为随机变量。

于是均方误差 (f^−y)2(f^−y)2 是随机变量 f^,ϵf^,ϵ 的函数，它期望值为：

E(f^−y)2=(Bias)2+Varf^+σ2E⁡(f^−y)2=(Bias)2+Var⁡f^+σ2

其中 Bias=Ef^−fBias=E⁡f^−f

Varf^=E(f^−Ef^)2Var⁡f^=E⁡(f^−E⁡f^)2

证明

Ey=E(f+ϵ)=fE⁡y=E⁡(f+ϵ)=f

Eϵ2=(Eϵ)2+Varϵ=Varϵ=σ2E⁡ϵ2=(E⁡ϵ)2+Var⁡ϵ=Var⁡ϵ=σ2

E(f^−f)2=E(f^−Ef^+Ef^−f)2E⁡(f^−f)2=E⁡(f^−E⁡f^+E⁡f^−f)2

=E(f^−Ef^)2+(Ef^−f)2+2E(f^−Ef^)⋅(Ef^−f)=E⁡(f^−E⁡f^)2+(E⁡f^−f)2+2E(f^−E⁡f^)⋅(E⁡f^−f)

=E(Ef^−f)2+E(f^−Ef^)2=E(E⁡f^−f)2+E⁡(f^−E⁡f^)2

=(Bias)2+Varf^=(Bias)2+Var⁡f^

因此 E(f^−y)2=E(f^−f−ϵ)2E⁡(f^−y)2=E⁡(f^−f−ϵ)2

=E(f^−f)2+Eϵ2−2E(f^−f)Eϵ=E⁡(f^−f)2+E⁡ϵ2−2E⁡(f^−f)E⁡ϵ

=Eϵ2+E(f^−f)2=E⁡ϵ2+E⁡(f^−f)2

=σ2+(Bias)2+Varf^=σ2+(Bias)2+Var⁡f^

References

Understanding the Bias-Variance Tradeoff

Bias–variance tradeoff