机器学习中的特征选择和优缺点
2017-08-15 23:49
501 查看
特征选择和机器学习算法两者存在紧密的联系,根据特征选择中子集评价标准和后续学习算法的结合
方式可分为嵌入式(embedded)、过滤式(filter)和封装式(wraper)
1.嵌入式特征选择
在嵌入式特征选择中,特征选择算法本身作为组成部分嵌入到学习算法里,最典型的就是决策树算法,如Quinlan的ID3,
C4.5以及Breiman的CART算法等,决策树算法在树增长过程的每个递归步都必须选择一个特征,将样本划分成较小的子集,
选择特征的一句通常是划分后子节点的纯度,划分后子节点越纯,则说明划分效果越好,可见决策树生成的过程也就是特征选择
的过程
2.过滤式特征选择
早期的特征选择算法大多属于过滤式特征选择,过滤式特征选择的评价标准从数据集本身的内在性质获得,与特定的学习
算法无关,因此具有具有较好的通用性。通常选择和类别相关度大的特征或者特征子集。过滤式特征选择的研究者认为,相关度
较大的特征或者特征自己会在分类器上获得较高的准确率,dash 和 liu把过滤式特征选择的评价标准分为四种,即距离度量,信息度量,关联度量
以及一致性度量
优点:算法的通用性强,省去了分类器的训练步骤,算法复杂性低,因而适用于大规模数据集,可以快速去除大量不相关的特征,
作为特征的预筛选器非常合适的
缺点:由于算法的评价标准独立于特定的学习算法,所选的特征子集在分类准确率方面通常低于wrapper方法
3.封装式特征选择
封装式特征选择即wrapper方法利用学习算法的性能来评价特征自己的优劣,因此,对于一个待评价的特征子集,wrapper方法需要
训练一个分类器,根据分类器的性能对该特征子集进行评价,wrapper方法中用以评价特征的学习算法是多种多样的,例如决策树、
神经网路、贝叶斯分类器、近邻法以及支持向量机等等。huswh提出了一种利用遗传算法作为搜索策略、决策树的分类准确性作为
子集评价标准的wrapper方法,lil等人用遗传算法结合人工神经网络进行特征选择和分类,并取得了较好的实验效果。inza等则利用贝叶斯
网络的性能作为自己评价标准,这些方法都是直接利用分类器的分类性能来评价特征子集的优劣
优点:相对于filter方法,wrapper方法找到的特征子集分类性能通常更好
缺点:wrapper方法选出的特征通用性不强,当改变学习算法时,需要针对该学习算法重新进行特征选择,由于每次对子集的
评价都要进行分类器的训练和测试,所以算法计算复杂度很高,尤其对于大规模数据集来说,算法的执行时间越长
方式可分为嵌入式(embedded)、过滤式(filter)和封装式(wraper)
1.嵌入式特征选择
在嵌入式特征选择中,特征选择算法本身作为组成部分嵌入到学习算法里,最典型的就是决策树算法,如Quinlan的ID3,
C4.5以及Breiman的CART算法等,决策树算法在树增长过程的每个递归步都必须选择一个特征,将样本划分成较小的子集,
选择特征的一句通常是划分后子节点的纯度,划分后子节点越纯,则说明划分效果越好,可见决策树生成的过程也就是特征选择
的过程
2.过滤式特征选择
早期的特征选择算法大多属于过滤式特征选择,过滤式特征选择的评价标准从数据集本身的内在性质获得,与特定的学习
算法无关,因此具有具有较好的通用性。通常选择和类别相关度大的特征或者特征子集。过滤式特征选择的研究者认为,相关度
较大的特征或者特征自己会在分类器上获得较高的准确率,dash 和 liu把过滤式特征选择的评价标准分为四种,即距离度量,信息度量,关联度量
以及一致性度量
优点:算法的通用性强,省去了分类器的训练步骤,算法复杂性低,因而适用于大规模数据集,可以快速去除大量不相关的特征,
作为特征的预筛选器非常合适的
缺点:由于算法的评价标准独立于特定的学习算法,所选的特征子集在分类准确率方面通常低于wrapper方法
3.封装式特征选择
封装式特征选择即wrapper方法利用学习算法的性能来评价特征自己的优劣,因此,对于一个待评价的特征子集,wrapper方法需要
训练一个分类器,根据分类器的性能对该特征子集进行评价,wrapper方法中用以评价特征的学习算法是多种多样的,例如决策树、
神经网路、贝叶斯分类器、近邻法以及支持向量机等等。huswh提出了一种利用遗传算法作为搜索策略、决策树的分类准确性作为
子集评价标准的wrapper方法,lil等人用遗传算法结合人工神经网络进行特征选择和分类,并取得了较好的实验效果。inza等则利用贝叶斯
网络的性能作为自己评价标准,这些方法都是直接利用分类器的分类性能来评价特征子集的优劣
优点:相对于filter方法,wrapper方法找到的特征子集分类性能通常更好
缺点:wrapper方法选出的特征通用性不强,当改变学习算法时,需要针对该学习算法重新进行特征选择,由于每次对子集的
评价都要进行分类器的训练和测试,所以算法计算复杂度很高,尤其对于大规模数据集来说,算法的执行时间越长
相关文章推荐
- 机器学习中的特征选择——决策树模型预测泰坦尼克号乘客获救实例
- 机器学习 - 特征选择
- 【斯坦福---机器学习】复习笔记之特征选择
- 2. 机器学习实践之手写数字识别 - 初步特征选择及线性识别
- 机器学习-特征选择
- 机器学习中特征降维和特征选择的区别
- 机器学习的特征选择(feature selection)
- 机器学习-特征选择
- 机器学习-GridSearchCV自动调参,RF特征选择
- 机器学习中的特征——特征选择的方法以及注意点
- 机器学习中特征选择概述
- 机器学习概念之特征选择(Feature selection)
- 机器学习中,有哪些特征选择的工程方法?
- 机器学习-文本特征选择
- 机器学习中的特征——特征选择的方法以及注意点
- 机器学习系列(6)_从白富美相亲看特征预处理与选择(下)
- 机器学习中的特征——特征选择的方法以及注意点
- 机器学习(特征选择与稀疏学习)
- 机器学习中的特征选择
- (斯坦福机器学习课程笔记)VC维,交叉检验和特征选择