机器学习中正则化的理解
2015-01-12 16:40
260 查看
http://www.haodaima.net/art/2591450
正则化是结构风险最小化策略的实现,是在经验风险上加上一个正则项(regularizer)或罚项(penalty term)。是模型选择的典型方法。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值越大。比较常用的正则化项有模型参数向量的范数,1-norm、2-norm
第1项经验风险较小的模型可能比较复杂(非零参数多),这是第2项的模型复杂度会较大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。
用奥卡姆剃刀原理解释:在模型选择时,能够很好地解释已知数据并且十分简单的模型才是应该选择的模型。
从贝叶斯估计角度来看:正则项对应于模型的先验概率,可以假设复杂的模型具有较小的先验概率,而简单的模型具有加大的先验概率。(类似奥卡姆剃刀解释)
正则化的理解:
正则化就是对最小化经验误差函数上加约束,这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。
约束有引导作用,在优化误差函数的时候倾向于选择满足约束的梯度减少的方向,使最终的解倾向于符合先验知识(如一般的l-norm先验,表示原问题更可能是比较简单的,这样的优化倾向于产生参数值量级小的解,一般对应于稀疏参数的平滑解)。
同时正则化,解决了逆问题的不适定性,产生的解是存在,唯一同时也依赖于数据的,噪声对不适定的影响就弱,解就不会过拟合,而且如果先验(正则化)合适,则解就倾向于是符合真解(更不会过拟合了),即使训练集中彼此间不相关的样本数很少。
正则化大概有两个功能:
1,从模型修正上看,起了一个trade-off作用,用于平衡学习过程中两个基本量,名字诸如bias-variance、拟合能力-泛化能力、损失函数-推广能力、经验风险-结构风险等等;
2,从模型求解上看,正则化提供了一种唯一解的可能,众所周知,光用最小二乘拟合可能出现无数组解,加个L1或L2正则化项能有唯一解,即不适定性
正则化是结构风险最小化策略的实现,是在经验风险上加上一个正则项(regularizer)或罚项(penalty term)。是模型选择的典型方法。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值越大。比较常用的正则化项有模型参数向量的范数,1-norm、2-norm
第1项经验风险较小的模型可能比较复杂(非零参数多),这是第2项的模型复杂度会较大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。
用奥卡姆剃刀原理解释:在模型选择时,能够很好地解释已知数据并且十分简单的模型才是应该选择的模型。
从贝叶斯估计角度来看:正则项对应于模型的先验概率,可以假设复杂的模型具有较小的先验概率,而简单的模型具有加大的先验概率。(类似奥卡姆剃刀解释)
正则化的理解:
正则化就是对最小化经验误差函数上加约束,这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。
约束有引导作用,在优化误差函数的时候倾向于选择满足约束的梯度减少的方向,使最终的解倾向于符合先验知识(如一般的l-norm先验,表示原问题更可能是比较简单的,这样的优化倾向于产生参数值量级小的解,一般对应于稀疏参数的平滑解)。
同时正则化,解决了逆问题的不适定性,产生的解是存在,唯一同时也依赖于数据的,噪声对不适定的影响就弱,解就不会过拟合,而且如果先验(正则化)合适,则解就倾向于是符合真解(更不会过拟合了),即使训练集中彼此间不相关的样本数很少。
正则化大概有两个功能:
1,从模型修正上看,起了一个trade-off作用,用于平衡学习过程中两个基本量,名字诸如bias-variance、拟合能力-泛化能力、损失函数-推广能力、经验风险-结构风险等等;
2,从模型求解上看,正则化提供了一种唯一解的可能,众所周知,光用最小二乘拟合可能出现无数组解,加个L1或L2正则化项能有唯一解,即不适定性
相关文章推荐
- 转载 机器学习--正则化理解
- 机器学习中正则化项L1和L2的绘图+理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中关于正则化的理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习中对于正则化的理解
- 机器学习中正则化的理解
- 机器学习中正则化项L1和L2的直观理解
- 机器学习(4)-理解SVM的损失函数和梯度表达式的实现+编程总结
- Machine Learning(Stanford)| 斯坦福大学机器学习笔记--第一周(3.代价函数直观理解)
- 如何理解人工智能、机器学习和深度学习三者的关系
- 笔记: 斯坦福大学机器学习第七课“正则化(Regularization)”
- 机器学习之自然语言处理理解
- 【机器学习】多层感知机的理解
- 斯坦福机器学习视频笔记 Week3 逻辑回归和正则化 Logistic Regression and Regularization
- 机器学习教程 五.SVM(支持向量机)算法理解和应用