特征提取，特征选择

参考文献

特征提取是机器学习的准备工作。

一、特征大体上分几种呢

有人分：high features 和low features. high features 指比较泛的特征；low features 指相对具体的特征。

有人分：具体特征，原始特征（不加工raw），抽象特征。

总体上，Low Level 比较有针对性，单个特征覆盖面小（含有这个特征的数据不多），特征数量（维度）很大。High Level比较泛化，单个特征覆盖面大（含有这个特征的数据很多），特征数量（维度）不大。长尾样本的预测值主要受High Level特征影响。高频样本的预测值主要受Low Level特征影响。

非线性模型的特征
1）可以主要使用High Level特征，因为计算复杂度大，所以特征维度不宜太高；
2）通过High Level非线性映射可以比较好地拟合目标。

线性模型的特征
1）特征体系要尽可能全面，High Level和Low Level都要有；
2）可以将High Level转换Low Level，以提升模型的拟合能力。

　　　　　　　　　　　　

二、特征归一化

特征抽取后，如果不同特征的取值范围相差很大，最好对特征进行归一化，以取得更好的效果，常见的归一化方式如下：

　　Rescaling：
归一化到[0,1] 或 [-1，1]，用类似方式：



Standardization：
设

为x分布的均值，

为x分布的标准差；



Scaling to unit length：
归一化到单位长度向量

三、特征选择

特征抽取和归一化之后，如果发现特征太多，导致模型无法训练，或很容易导致模型过拟合，则需要对特征进行选择，挑选有价值的特征。

Filter：
假设特征子集对模型预估的影响互相独立，选择一个特征子集，分析该子集和数据Label的关系，如果存在某种正相关，则认为该特征子集有效。衡量特征子集和数据Label关系的算法有很多，如Chi-square，Information Gain。

Wrapper：
选择一个特征子集加入原有特征集合，用模型进行训练，比较子集加入前后的效果，如果效果变好，则认为该特征子集有效，否则认为无效。

Embedded：
将特征选择和模型训练结合起来，如在损失函数中加入L1 Norm ，L2 Norm。