【读书笔记-数据挖掘概念与技术】数据预处理

数据预处理的目的：提高数据质量，数据质量的三要素：准确性、完整性、一致性。

数据预处理的任务：

数据清理
数据集成
数据规约
数据变换

数据清理——填充缺失的值、光滑噪声、识别离群点、纠正数据中的不一致

缺失值：

忽略元组
人工填写缺失值
使用一个全局常量
使用属性的中心度量
使用与给定元组属同一类的所有样本的属性均值或中位数
使用最可能的值（最流行）

噪声数据

分箱
回归
离群点分析

数据集成——合并来自多个数据存储的数据

实体识别问题
冗余和相关分析
元组重复
数据值冲突的监测与处理

数据规约——得到数据集的规约表示，但仍接近于保持原始数据的完整性

数据规约策略概述

维归约
数量规约
数据压缩

小波变换——线性信号处理技术，适合高维数据(http://hi.baidu.com/qingshuangcii/item/31e8831e65350dde64eabf4c)
主成成分分析——一种维归约方法，适合稀疏数据
属性子集选择
回归和对数线性模型：参数化数据规约
直方图
聚类
抽样
数据立方体聚集

数据变换与数据离散化——数据被变换或统一成适合于挖掘的形式，更容易理解

数据变换的策略概述
规范化
分箱离散化
直方图分析离散化
聚类、决策树和相关分析离散化
标称数据的概念分层