The Curse of Dimensionality in classification
2014-05-14 08:14
288 查看
The Curse of Dimensionality in classification
转载:我爱机器学习(52ml.net) » 《The Curse of Dimensionality in classification》
文章介绍了“维数灾难“会引起过拟合,而特征维数与训练样本数和分类器复杂度有关。
文章中讲到,如果可用的训练数据量是固定的,那么持续增加维数会引起过拟合;如果持续增加维数,训练数据量需要成倍地增长来保持相同的覆盖而避免过拟合。
当分类器倾向于建立非常精确的非线性的决策边界并且泛化性不好容易过拟合时(如,神经网络,KNN分类器,决策树),则维数应该相对较少;如果分类器容易泛化但本身的表达能力较弱(如,naive Bayes,线性分类器),则特征数应该较高一些。
过拟合发生在高维度空间估计相对较少参数和在低维度空间估计较多参数的情况,因此,所要估计的参数数量应该关于维数成倍增长。
关于维数的解决,可以选择特征选择算法选择最优的特征数量及特征组合,或者通过特征提取算法对原始特征进行组合(对原始特征进行线性或非线性结合来降维)(如,PCA),另外一种有效的方法是通过交叉验证训练分类器解决过拟合问题。
转载:我爱机器学习(52ml.net) » 《The Curse of Dimensionality in classification》
文章介绍了“维数灾难“会引起过拟合,而特征维数与训练样本数和分类器复杂度有关。
文章中讲到,如果可用的训练数据量是固定的,那么持续增加维数会引起过拟合;如果持续增加维数,训练数据量需要成倍地增长来保持相同的覆盖而避免过拟合。
当分类器倾向于建立非常精确的非线性的决策边界并且泛化性不好容易过拟合时(如,神经网络,KNN分类器,决策树),则维数应该相对较少;如果分类器容易泛化但本身的表达能力较弱(如,naive Bayes,线性分类器),则特征数应该较高一些。
过拟合发生在高维度空间估计相对较少参数和在低维度空间估计较多参数的情况,因此,所要估计的参数数量应该关于维数成倍增长。
关于维数的解决,可以选择特征选择算法选择最优的特征数量及特征组合,或者通过特征提取算法对原始特征进行组合(对原始特征进行线性或非线性结合来降维)(如,PCA),另外一种有效的方法是通过交叉验证训练分类器解决过拟合问题。
相关文章推荐
- 维数灾难(The Curse of Dimensionality in classification)
- error: (-5) in the case of classification problem the responses must be cate
- 维数灾难与自编码器The Curse of Dimensionality and the Autoencoder
- "模式识别与机器学习"读书笔记—— 1.4 The Curse of Dimensionality
- PRML系列:1.4 The Curse of Dimensionality
- 【PRML读书笔记-Chapter1-Introduction】1.4 The Curse of Dimensionality
- 电影《人兔的诅咒》(Wallace & Gromit in The Curse of the Were-Rabbit) - 阮一峰的网络日志
- A VS.NET add-in to know the content of the any dataset during debugging
- 让人哭笑不得的“Unable to load one or more of the types in the assembly”问题的解决!
- YaGoohoo!gle: the Best of Both World...in Simple Way!
- Teddy's Aspect Weaver Version 0.3 with Great Updating and Fixing, Especially the Implementing of Getting Runtime Method Context Info and Method Arguments in MSIL Level
- fast reports V3.15 输出CJK PDF完美解决方案(the solution of exporting CJK PDF in fast reports)
- In the cold of night
- Tomorrow I will fly......but I will return in the future, of course, to be by your side
- In search of the perfect market
- The role of JNDI in J2EE(FROM IBM)
- The war of the world-----The war in my heart
- New influence in American Life -- The roles of man and woman changing
- The Maximum Number of Bytes Per Row in SQL Server 2000 -- 8060.
- Report on Environmental Monitoring in the College Archives and Sophia Smith Collection Conducted by the Massachusetts Board of Library Commissioners, August 2001-Janaury 2002