1.hadoop的认识

占有率：Hadoop57.5%   Hbase23.2%
  

截至2012年12月23日，Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则NameNode HA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性

Hadoop是：

Apache开源软件基金会开发的，运用于大规模普通服务器上的，大数据存储,计算,分析的分布式存储系统和分布式运算框架 

Hadoop2.0：

(三部分组成)

分布式文件系统HDFS：操作系统级别上的

资源分配系统Yarn：(动态计算<cpu[单位是路和颗]内存>资源调度
谁先做谁后做等)

分布式运算框架MapReduce：！！！

BigTable	HBase
MR	MR
GFS	HDFS

数据分析

数据检索

数据展现

数据分享

Hadoop生态系统：

Mahout	(驾驭大象的人)数据挖掘的工具包   基于MR的算法库
HBase	列式数据库Nosql
Hive	数据仓库 (用sql)
Avro	快速序 b760 列化 ,持久化(内存-->本地)   接口序列化开发工具
Zookeeper	通信的管理和协调    分布式协同调度
Flume	日志采集和管理   数据流收集工具
Sqoop	ETL:抽取 转化 加载
Pig	数据的预处理(有自己的语言)      类比Hive竞争关系

搜狗案例剖析

详情页＋列表页＋搜索页

date id key rank order url

搜索数据介绍

系统架构与核心功能模块：

WEB SERVER ：<Server:机架式塔式小机式大机式>

日志采集平台：traffic流量

日志清洗,加载：rush+load
数据仓库：(Nosql->关系型数据库->展现web页面)
离线分析系统

ETL加载

关系型数据库

WEB系统数据展示