[置顶] 离散化特征的方法
2017-07-01 21:16
330 查看
在logistic regression上,需要把一些连续特征进行离散化处理。离散化除了一些计算方面等等好处,还可以引入非线性特性,
模型会更稳定
连续性变量转化成离散型变量大致有两类方法:
(1)卡方检验方法;
(2)信息增益方法;
一: 卡方检验(X2检验)方法
1.1 分裂方法
1.2 合并方法
分裂方法,就是找到一个分裂点看,左右2个区间,在目标值上分布是否有显著差异,有显著差异就分裂,否则就忽略。这个点可以每次找差异最大的点。
合并类似,先划分为多个很小的单元区间,按顺序合并在目标值上分布不显著的相邻区间,直到收敛。
二:信息增益方法
2.1 分裂方法
2.2 合并方法
这个和决策树的学习很类似。
分裂方法,就是找到一个分裂点看,左右2个区间,看分裂前后信息增益变化阈值,如果差值超过阈值(正值,分列前-分裂后信息熵),则分裂。每次找差值最大的点做分裂点,直到收敛。
合并类似,先划分为多个很小的单元区间,按顺序合并信息增益小于阈值的相邻区间,直到收敛。
(1)什么是信息增益?
熵:表示随机变量的不确定性。
条件熵:在一个条件下,随机变量的不确定性。
信息增益:熵 - 条件熵
在一个条件下,信息不确定性减少的程度!
在特征选择的时候常常用信息增益,如果IG(信息增益大)的话那么这个特征对于分类来说很关键~~ 决策树就是这样来找特征的!
模型会更稳定
连续性变量转化成离散型变量大致有两类方法:
(1)卡方检验方法;
(2)信息增益方法;
一: 卡方检验(X2检验)方法
1.1 分裂方法
1.2 合并方法
分裂方法,就是找到一个分裂点看,左右2个区间,在目标值上分布是否有显著差异,有显著差异就分裂,否则就忽略。这个点可以每次找差异最大的点。
合并类似,先划分为多个很小的单元区间,按顺序合并在目标值上分布不显著的相邻区间,直到收敛。
二:信息增益方法
2.1 分裂方法
2.2 合并方法
这个和决策树的学习很类似。
分裂方法,就是找到一个分裂点看,左右2个区间,看分裂前后信息增益变化阈值,如果差值超过阈值(正值,分列前-分裂后信息熵),则分裂。每次找差值最大的点做分裂点,直到收敛。
合并类似,先划分为多个很小的单元区间,按顺序合并信息增益小于阈值的相邻区间,直到收敛。
(1)什么是信息增益?
熵:表示随机变量的不确定性。
条件熵:在一个条件下,随机变量的不确定性。
信息增益:熵 - 条件熵
在一个条件下,信息不确定性减少的程度!
在特征选择的时候常常用信息增益,如果IG(信息增益大)的话那么这个特征对于分类来说很关键~~ 决策树就是这样来找特征的!
相关文章推荐
- 【特征工程】连续数据特征离散化的方法
- 连续特征离散化的方法
- 连续特征离散化达到更好的效果,特征选择的工程方法
- #####好好好#####特征离散化方法综述
- 连续特征离散化的方法
- [置顶] 【数据建模 特征分箱】特征分箱的方法
- [置顶] 【数据挖掘 特征选择】特征选择常用方法
- 连续特征进行离散化的方法介绍与应用例子
- 机器学习特征处理---离散化特征的方法
- 特征离散化系列(一)方法综述
- 连续特征离散化的方法
- 连续特征离散化方法介绍
- 连续特征离散化达到更好的效果,特征选择的工程方法
- [置顶] 使用SIFT特征提取和K-Means方法对图片进行分类
- chrome浏览器取消置顶的方法
- 浅析人脸检测之Haar分类器方法:Haar特征、积分图、 AdaBoost 、级联
- 结合Scikit-learn介绍几种常用的特征选择方法
- 浅析人脸检测之Haar分类器方法:Haar特征、积分图、 AdaBoost 、级联
- 四种比较简单的图像显著性区域特征提取方法原理及实现-----> AC/HC/LC/FT。
- 背景建模(二)——以像素值为特征的方法(1)