数据挖掘学习笔记(一)引论
2013-09-06 19:50
323 查看
1,什么是数据挖掘
数据挖掘是从大量的数据中挖掘有趣的模式和知识的过程。
2,什么是KDD
KDD是数据中的知识发现,包含以下过程:
数据清理;数据集成;数据选择;数据变换;数据挖掘;模式评估;知识表现。
3,数据挖掘中的数据
(1)数据库数据
主要是关系数据库中的数据,关系数据库是表的集合,每个表都包含一组属性(列)和大量的元组(行)
(2)数据仓库
数据仓库是从多个数据源收集的数据,与数据库相比
通常数据仓库称作数据立方体(data cube)的多维数据结构建模,适合OLAP。
(3)事务数据
事务数据包含一个唯一标示数据的事务标示号和一个组成事务的项。
(4)其他类型数据
包括时间数据;空间数据;流数据;多媒体数据;网状数据;万维网等数据。
4,数据挖掘的方法
(1)特征化和区分
(2)挖掘频繁模式,关联和相关性
(3)分类与回归
(4)聚类分析
(5)离群点分析
5,判断模式是否有趣
(1)客观度量
对与一个关联规则X=>Y
支持度:表示X和Y同时出现的概率
置信度:表示出现X时,Y出现的概率
(2)主观度量
如果这种模式是出乎意料的(与用户信念相反),或者提供用户可以采取的行动的至关重要的信息。 在后一种情况下,这种模式称为“可行动的”。 意料之中的模式也可能是有趣的:如果他证实了用户希望证实的假设。
数据挖掘是从大量的数据中挖掘有趣的模式和知识的过程。
2,什么是KDD
KDD是数据中的知识发现,包含以下过程:
数据清理;数据集成;数据选择;数据变换;数据挖掘;模式评估;知识表现。
3,数据挖掘中的数据
(1)数据库数据
主要是关系数据库中的数据,关系数据库是表的集合,每个表都包含一组属性(列)和大量的元组(行)
(2)数据仓库
数据仓库是从多个数据源收集的数据,与数据库相比
对比内容 | 数据库 | 数据仓库 |
数据内容 | 当前值 | 历史的,存档的,归纳的,计算的数据 |
数据特征 | 面向业务操作程序,重复处理 | 面向主题域,管理决策分析应用 |
数据结构 | 高度结构化,复杂,适合操作计算 | 简单,适合分析 |
使用频率 | 高 | 中到低 |
数据访问 | 每个事务只访问少量记录 | 有的事务要访问大量记录 |
对响应时间的要求 | 以秒为单位 | 以秒,分钟,甚至小时为单位 |
(3)事务数据
事务数据包含一个唯一标示数据的事务标示号和一个组成事务的项。
(4)其他类型数据
包括时间数据;空间数据;流数据;多媒体数据;网状数据;万维网等数据。
4,数据挖掘的方法
(1)特征化和区分
(2)挖掘频繁模式,关联和相关性
(3)分类与回归
(4)聚类分析
(5)离群点分析
5,判断模式是否有趣
(1)客观度量
对与一个关联规则X=>Y
支持度:表示X和Y同时出现的概率
置信度:表示出现X时,Y出现的概率
(2)主观度量
如果这种模式是出乎意料的(与用户信念相反),或者提供用户可以采取的行动的至关重要的信息。 在后一种情况下,这种模式称为“可行动的”。 意料之中的模式也可能是有趣的:如果他证实了用户希望证实的假设。
相关文章推荐
- 数据挖掘学习笔记一:引论
- 【数据挖掘概念与技术】学习笔记1-引论
- 数据挖掘学习笔记1:引论
- SQL SERVER 2005 数据挖掘与商业智能完全解决方案---学习笔记(一)
- Python数据挖掘学习笔记】九.回归模型LinearRegression简单分析氧化物数据
- 数据挖掘学习笔记——十大算法之决策树算法、逻辑回归概述
- 数据挖掘学习笔记-数据篇
- 数据挖掘笔记(3)-从数据中学习
- 大数据学习笔记之三十九 数据挖掘算法之预测建模
- python数据分析与挖掘学习笔记(1)-基础及准备
- SQL SERVER 2005 数据挖掘与商业智能完全解决方案---学习笔记(一)
- SQL SERVER 2005 数据挖掘与商业智能完全解决方案---学习笔记(五)
- 数据挖掘学习笔记-分类(1)
- Python数据分析与挖掘实战学习笔记(一)
- 数据挖掘学习笔记-决策树算法浅析(含Java实现)
- 数据挖掘学习笔记--决策树C4.5
- 数据挖掘学习笔记之CART树
- web数据挖掘(学习笔记)-观点挖掘
- 大数据学习笔记之三十八 数据挖掘算法之聚类分析
- 【数据挖掘概念与技术】学习笔记6-挖掘频繁模式、关联和相关性:基本概念和方法(编缉中)