overfitting(过度拟合)的概念
2013-06-22 23:20
323 查看
标准定义:给定一个假设空间H,一个假设h属于H,如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小,但在整个实例分布上h’比h的错误率小,那么就说假设h过度拟合训练数据。 ----《Machine Learning》Tom M.Mitchell
例:如图所示
可以看出在a中虽然完全的拟合了样本数据,但对于b中的测试数据分类准确度很差。而c虽然没有完全拟合样本数据,但在d中对于测试数据的分类准确度却很高。过拟合问题往往是由于训练数据少、训练样本中存在异常数据等原因造成的。
决策树为什么要剪枝?原因就是避免决策树“过拟合”样本。前面的算法生成的决策树非常的详细而庞大,每个属性都被详细地加以考虑,决策树的树叶节点所覆盖的训练样本都是“纯”的。因此用这个决策树来对训练样本进行分类的话,你会发现对于训练样本而言,这个树表现堪称完美,它可以100%完美正确得对训练样本集中的样本进行分类(因为决策树本身就是100%完美拟合训练样本的产物)。但是,这会带来一个问题,如果训练样本中包含了一些错误,按照前面的算法,这些错误也会100%一点不留得被决策树学习了,这就是“过拟合”。C4.5的缔造者昆兰教授很早就发现了这个问题,他作过一个试验,在某一个数据集中,过拟合的决策树的错误率比一个经过简化了的决策树的错误率要高。那么现在的问题就来了,如何在原生的过拟合决策树的基础上,通过剪枝生成一个简化了的决策树?
例:如图所示
可以看出在a中虽然完全的拟合了样本数据,但对于b中的测试数据分类准确度很差。而c虽然没有完全拟合样本数据,但在d中对于测试数据的分类准确度却很高。过拟合问题往往是由于训练数据少、训练样本中存在异常数据等原因造成的。
决策树为什么要剪枝?原因就是避免决策树“过拟合”样本。前面的算法生成的决策树非常的详细而庞大,每个属性都被详细地加以考虑,决策树的树叶节点所覆盖的训练样本都是“纯”的。因此用这个决策树来对训练样本进行分类的话,你会发现对于训练样本而言,这个树表现堪称完美,它可以100%完美正确得对训练样本集中的样本进行分类(因为决策树本身就是100%完美拟合训练样本的产物)。但是,这会带来一个问题,如果训练样本中包含了一些错误,按照前面的算法,这些错误也会100%一点不留得被决策树学习了,这就是“过拟合”。C4.5的缔造者昆兰教授很早就发现了这个问题,他作过一个试验,在某一个数据集中,过拟合的决策树的错误率比一个经过简化了的决策树的错误率要高。那么现在的问题就来了,如何在原生的过拟合决策树的基础上,通过剪枝生成一个简化了的决策树?
相关文章推荐
- overfitting(过度拟合)的概念
- overfitting(过度拟合)的概念
- overfitting(过度拟合)的概念
- 过度拟合(overfitting)
- 关于“overfitting”(过度拟合)现象
- [机器学习]04.多级分类(Multiclass classfication) 过度拟合(overfitting)
- (过拟合及其防治)Overfitting and Its Avoidance
- 欠拟合(Underfitting) & 过拟合(Overfitting) & 正则化(Regularization)
- TensotFlow 应用实例:10-Overfitting 过拟合介绍及解决过拟合的方法
- 用简单易懂的语言描述过拟合 overfitting?
- Tensorflow Overfitting过拟合解决方法 Dropput()使用方法
- 14过拟合(Overfitting)
- 机器学习笔记05:正则化(Regularization)、过拟合(Overfitting)
- 深度学习 14. 深度学习调参,CNN参数调参,各个参数理解和说明以及调整的要领。underfitting和overfitting的理解,过拟合的解释。
- 用简单易懂的语言描述过拟合 overfitting?
- Machine Learning- overfitting (Andrew Ng 课程总结-过拟合)
- 机器学习-过拟合 (Overfitting)
- 深度学习 14. 深度学习调参,CNN参数调参,各个参数理解和说明以及调整的要领。underfitting和overfitting的理解,过拟合的解释。
- overfitting(过度拟合)的概念
- 正则化(Regularization)、过拟合(Overfitting)