[机器学习笔记] 什么是经验风险？什么是结构风险？

经验风险

机器学习模型关于训练数据集的平均损失称为经验风险。度量平均意义下模型预测效果的好坏。



结构风险

结构风险是在经验风险的基础上加上表示模型复杂度的正则项（罚项）。



其中：

J(f) 是模型的复杂度，模型f越复杂，J(f)值就越大，模型越简单，J(f)值就越小。也就是说，J(f) 是对复杂模型的惩罚。为什么说是惩罚呢？因为求解的目标是整体达到最小值，经验风险越小，模型越复杂，J(f) 的值越大，就迫使模型不要太复杂，就是惩罚。

λ 是正则项的系数，λ≥0 ，用以权衡经验风险和模型复杂度。

看曲线图就明白了：



图片来源：http://www.cnblogs.com/jeromeblog/p/3749193.html

结构风险就是训练误差和模型复杂度之和。