机器学习——特征工程之子集搜索与评价
2017-10-15 18:29
155 查看
一、前言
1、特征:描述目标对象的属性2、特征类型
a) 相关特征:对于当前学习任务有用的属性,即与目标对象非常相关的特征
b) 无关特征:对于当前学习任务无用的属性,即与目标对象无关的特征
c) 冗余特征:其包含的信息可通过其它特征推演
3、特征选择:从给定的特征集合中选择出相关特征子集的过程
4、特征选择的理由
a) 缓解维数灾难问题,该动机类似于特征降维
b) 去除不相关特征往往会降低学习任务的难度
二、子集搜索与评价
1、背景:从初始特征集合中选取一个包含了所有重要信息的特征子集,若没有任何领域知识作为先验假设,那就只好遍历所有可能子集,可能遭遇组合爆炸2、解决方式:产生“候选子集”并对其进行评价,基于评价结果产生下一个候选子集,重复以上操作直到无法找到更好的候选子集
3、子集搜索(贪心搜索减少计算,寻找局部最优而非全局)
a) 前向搜索:将每个特征看作一个候选子集,逐渐增加相关特征的策略
b) 后向搜索:从完整的特征集合开始,逐渐减少无关特征的策略
c) 双向搜索:结合前向和后向,每轮增加选定相关特征,同时减少无关特征
4、 子集评价:常用信息增益评价子集,类似决策树(可用来做特征选择)
5、 特征选择 = 子集搜索机制 + 子集评价机制
6、 常见特征选择方法大致分类:过滤式(filter)、包裹式(wrapper)和嵌入式(embedding)
相关文章推荐
- 机器学习之特征工程
- 机器学习之特征工程
- 机器学习 特征工程之特征选择
- 机器学习笔记---特征工程概述
- 【机器学习】在工程上机器学习特征选择的方法
- 机器学习:特征工程
- 机器学习特征提取 | 自动特征工程featuretools
- 机器学习之(四)特征工程以及特征选择的工程方法
- 机器学习之特征工程
- 机器学习之特征工程简介
- 机器学习笔记--特征工程
- 机器学习——特征工程之数据预处理
- 【Trick】机器学习特征工程处理(一)
- 机器学习中的数据清洗与特征工程
- 机器学习之特征工程
- 机器学习——特征工程之线性判别分析LDA
- 机器学习中,有哪些特征选择的工程方法?
- 【特征工程】2 机器学习中的数据清洗与特征处理综述
- 不会做特征工程的 AI 研究员不是好数据科学家!上篇 - 连续数据的处理方法 本文作者:s5248 编辑:杨晓凡 2018-01-19 11:32 导语:即便现代机器学习模型已经很先进了,也别
- [置顶] 机器学习中的特征工程