[机器学习笔记] 如何确定模型训练达到了最优？

在进行模型训练时，我们如何确定模型达到了最优呢？

监督学习有两种策略：经验风险最小化和结构风险最小化。

参考： 什么是经验风险？什么是结构风险？

经验风险最小化的策略认为，经验风险最小的模型就是最优的模型。求解问题模型表达式如下：



当训练数据集的样本个数很少时，经验风险最小化的策略很容易产生过拟合现象。结构风险最小化策略可以防止过拟合。

结构风险最小化的策略认为，结构风险最小的模型就是最优的模型。求解问题模型表达式如下：



结构风险最小化，就是在训练误差和模型复杂度之间寻求平衡，以解决过拟合问题。从而达到真实误差的最小化。