Hadoop简介

Hadoop主要由hdfs(hadoop distributed file system即hadoop分布式文件系统)

、MapReduce和HBase组成。

Hadoop的初衷是为了解决Nutch的海量数据爬取和存储的需要

hadoop的两大核心设计：

1.MapReduce
.Map:任务的分解
.Reduce:结果的汇总

2.HDFS
.NameNode
.DataNode
.Client

Hadoop--大数据VS传统数据
     传统数据
                   大数据

数据量       GB->TB
TB->PB以上

速度        数据量稳定，增长不快
    持续实时产生数据，年增长率超过60%

多样化    主要为结构化数据 半结构化，非结构化，多维数据

价值 统计和报表
数据挖掘和预测性分析

“大数据”指数据集的大小超过了现有典型的数据库软件和工具处理的能力。与此同时，及时捕捉、存储、聚合、管理这些大数据以及对数据的深度分析的新技术和新能力，正在快速增长，就像预测计算机芯片增长速度的摩尔定律一样