经验风险最小化
2014-07-22 21:29
302 查看
/article/2724646.html
前面提到,机器学习的目的就是根据一些训练样本
,寻找一个最优的函数,使得函数对输入X的估计Y'与实际输出Y之间的期望风险(可以暂时理解为误差)最小化。期望风险最小化依赖于样本的输入X与其输出Y之间的函数映射关系F(x,y),而这个映射关系,在机器视觉和模式识别系统中,一般指代先验概率和类条件概率。然而,这两者在实际的应用中,都是无法准确获取的,唯一能够利用的就只有训练样本的输入X及其对应的观测输出Y。而机器学习的目的又必须要求使得期望风险最小化,从而得到需要的目标函数。不难想象,可以利用样本的算术平均来代替式理想的期望,于是就定义了下面的式子来作为实际的目标风险函数
是利用已知的经验数据(训练样本)来计算,因此被称之为经验风险。用对参数
求经验风险来逐渐逼近理想的期望风险的最小值,就是我们常说的经验风险最小化(ERM)原则。
显然,利用经验风险
来代替真实的期望风险
是有代价的。首先,经验风险并不完全等于期望风险;其次,用经验风险来近似代替期望风险在理论上并没有完善的依据;最后,用经验风险来代替期望风险计算得到的误差属于经验误差,而并非真实期望误差;尽管有这样那样的问题存在,在先验概率和类条件概率无法准确获取的情况下,用经验风险来“想当然”的代替期望风险从而解决模式识别等机器学习问题的思路在这一领域依然大量存在。
前面提到,机器学习的目的就是根据一些训练样本
,寻找一个最优的函数,使得函数对输入X的估计Y'与实际输出Y之间的期望风险(可以暂时理解为误差)最小化。期望风险最小化依赖于样本的输入X与其输出Y之间的函数映射关系F(x,y),而这个映射关系,在机器视觉和模式识别系统中,一般指代先验概率和类条件概率。然而,这两者在实际的应用中,都是无法准确获取的,唯一能够利用的就只有训练样本的输入X及其对应的观测输出Y。而机器学习的目的又必须要求使得期望风险最小化,从而得到需要的目标函数。不难想象,可以利用样本的算术平均来代替式理想的期望,于是就定义了下面的式子来作为实际的目标风险函数
是利用已知的经验数据(训练样本)来计算,因此被称之为经验风险。用对参数
求经验风险来逐渐逼近理想的期望风险的最小值,就是我们常说的经验风险最小化(ERM)原则。
显然,利用经验风险
来代替真实的期望风险
是有代价的。首先,经验风险并不完全等于期望风险;其次,用经验风险来近似代替期望风险在理论上并没有完善的依据;最后,用经验风险来代替期望风险计算得到的误差属于经验误差,而并非真实期望误差;尽管有这样那样的问题存在,在先验概率和类条件概率无法准确获取的情况下,用经验风险来“想当然”的代替期望风险从而解决模式识别等机器学习问题的思路在这一领域依然大量存在。
相关文章推荐
- svm、经验风险最小化、vc维
- mixup:超越经验风险最小化
- 经验风险最小化与模型选择
- 斯坦福ML公开课笔记9—偏差/方差、经验风险最小化、联合界、一致收敛
- 经验风险最小化
- 【机器学习】统计知识之经验风险最小化与结构风险最小化
- 斯坦福ML公开课笔记9—偏差/方差、经验风险最小化、联合界、一致收敛
- 经验风险最小化
- 特定条件下经验风险最小化等价于极大似然估计的证明
- 机器学习 之 SVM VC维度、样本数目与经验风险最小化的关系
- 【cs229-Lecture9】经验风险最小化
- 极大似然估计与经验风险最小化
- 统计学习方法学习笔记(二)--经验风险最小化,结构风险最小化
- 特定条件下经验风险最小化等价于极大似然估计的证明(转载)
- 机器学习—经验风险最小化
- 逻辑回归关于经验风险最小化的凸近似体现
- 【九】经验风险最小化
- 机器学习第九课--经验风险最小化、一致收敛
- 经验风险最小化和结构风险最小化