数据挖掘—流程

数据挖掘建模过程：
1.定义挖掘目标：明确到底要干什么
2.数据抽样：从业务系统中抽取出与挖掘目标相关的样本数据子集。
抽样标准有三：相关性、可靠性、有效性，不要动用全部数据。
通过数据样本的精选，减少数据处理量，节省系统资源，突出我们想要寻找的规律。
3.数据探索：拿到样本集后，探索——属性之间的相关性、明显的规律和趋势、异常的数据状态等，对所抽取的样本数据进行探索、审核和必要的加工处理，是保证最终的挖掘模型的质量所必需的，数据探索和预处理的目的是为了保证样本数据的质量，为保证模型质量打下基础。
常用的数据探索方法有两方面——数据质量分析、数据特征分析。
（1）数据质量分析：缺失值分析、异常值分析、数据一致性分析
（2）特征分析：分布分析、对比分析、统计量分析、周期性分析、贡献度分析、相关性分析（散点图）
4.数据预处理
（1）数据清洗：
—缺失值处理
—异常值处理
（2）数据集成
（3）数据变换：函数变换、规范化、连续属性离散化、属性构造、小波变换
（4）数据规约：属性规约、数值规约
5.建模（明确本次目标是什么类型的问题：分类、聚类、关联规则、时序模式、推荐等；选择哪种算法进行模型构建）
6.模型评价