数据预处理
2013-08-16 15:11
155 查看
现实世界中数据大体上都是不完整,不一致的脏数据,无法直接进行数据挖掘,或挖掘结果差强人意。为了提前数据挖掘的质量产生了数据预处理技术。
数据预处理有多种方法:数据清理,数据集成,数据变换,数据归约等。这些数据处理技术在数据挖掘之前使用,大大提高了数据挖掘模式的质量,降低实际挖掘所需要的时间。
一、数据清理
首先是处理空缺值,如:要分析某市场的销售和顾客数据,但顾客的income项没有记录,如何处理这类问题
1、忽略元组:忽略整条记录
2、人工填写空缺值:根据其它资料手工填写
3、使用一个全局常量填充空缺值:使所有income项记录都以一个常量(如:2000)填充
4、使用属性的平均值填充空缺值:取得其它记录中该属性的平均值进行填充
5、使用与给定元组属同一类的所有样本的平均值:与上面相类似
6、使用最可能的值填充空缺值:与上面相类似
然后是处理噪声数据,
1、分箱:通过考察周围的值来平滑存储数据的值,有两种方法:按箱平均值平滑,箱中每一个值被箱中的平均值替换;按箱边界平滑,箱中的最大和最小值被视为箱边界,箱中的每一个值被最近的边界值替换
2、聚类:简单来说就是取得相对比较集中的值,相对分散的值忽略不计的方法
3、回归:通过一个合适的函数(如回归函数)来平滑数据
4、计算机和人工检查结合:即手工处理
最后是处理不一致数据
主要方法是参照其它资料,如纸上记录,人工的加以更正
二、数据集成
即由多个数据存储合并数据。
三、数据变换
将数据转换成适用于数据挖掘的形式。
四、数据归约
数据挖掘时往往数据量非常大,在少量数据上进行挖掘分析需要很长的时间,数据归约技术可以用来得到数据集的归约表示,它小得多,但仍然接近于保持原数据的完整性,并结果与归约前结果相同或几乎相同。
数据预处理是目前数据挖掘一个热门的研究方面,毕竟这是由数据预处理的产生背景所决定的--现实世界中的数据几乎都脏数据
数据预处理有多种方法:数据清理,数据集成,数据变换,数据归约等。这些数据处理技术在数据挖掘之前使用,大大提高了数据挖掘模式的质量,降低实际挖掘所需要的时间。
一、数据清理
首先是处理空缺值,如:要分析某市场的销售和顾客数据,但顾客的income项没有记录,如何处理这类问题
1、忽略元组:忽略整条记录
2、人工填写空缺值:根据其它资料手工填写
3、使用一个全局常量填充空缺值:使所有income项记录都以一个常量(如:2000)填充
4、使用属性的平均值填充空缺值:取得其它记录中该属性的平均值进行填充
5、使用与给定元组属同一类的所有样本的平均值:与上面相类似
6、使用最可能的值填充空缺值:与上面相类似
然后是处理噪声数据,
1、分箱:通过考察周围的值来平滑存储数据的值,有两种方法:按箱平均值平滑,箱中每一个值被箱中的平均值替换;按箱边界平滑,箱中的最大和最小值被视为箱边界,箱中的每一个值被最近的边界值替换
2、聚类:简单来说就是取得相对比较集中的值,相对分散的值忽略不计的方法
3、回归:通过一个合适的函数(如回归函数)来平滑数据
4、计算机和人工检查结合:即手工处理
最后是处理不一致数据
主要方法是参照其它资料,如纸上记录,人工的加以更正
二、数据集成
即由多个数据存储合并数据。
三、数据变换
将数据转换成适用于数据挖掘的形式。
四、数据归约
数据挖掘时往往数据量非常大,在少量数据上进行挖掘分析需要很长的时间,数据归约技术可以用来得到数据集的归约表示,它小得多,但仍然接近于保持原数据的完整性,并结果与归约前结果相同或几乎相同。
数据预处理是目前数据挖掘一个热门的研究方面,毕竟这是由数据预处理的产生背景所决定的--现实世界中的数据几乎都脏数据
相关文章推荐
- 数据预处理之数据降维 PCA法
- 从数据预处理开始学习网络可视化——社团发现算法
- CS231n课程笔记5.2:数据预处理&权重矩阵初始化
- python 数据预处理 数据抽样
- 医疗大数据预处理
- 机器学习中的数据预处理(sklearn preprocessing)
- TensorFlow 图像数据预处理及可视化
- 数据预处理-PDB文件处理代码
- NCBI SRA数据预处理
- 数据挖掘csv文件与xls文件预处理
- sklearn进行数据预处理-归一化/标准化/正则化
- 为什么数据都要做一个归一化预处理
- 深度学习与计算机视觉系列(7)_神经网络数据预处理,正则化与损失函数
- 大数据处理之道(预处理方法)
- 【数据挖掘】数据预处理与Rapidminer相应的操作
- BP神经网络初步应用(数据预处理)基于matlab
- 数据预处理和weka.filters的使用--数据挖掘学习和weka使用(三)
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 【Scikit-Learn 中文文档】预处理数据 - 数据集转换 - 用户指南 | ApacheCN
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化