Hadoop技术预览

首次发布：Hadoop技术预览

自从Hadoop的出现，引领大数据的浪潮越来越热。大数据存储的主要技术路线有几种：

1.Hadoop

2.Cassandra

3.MongoDB

Hadoop是Apache的开源项目，同时有很多商业公司对Hadoop进行版本发行和商业支持,参见：http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support

其中在最有名为人所知的三家：

1.Cloudera



2.Hortonwork



3.MapR



这三个厂商之中，MapR最为封闭；Hortonworks最为开放，产品线全开源，在线文档比较丰富。国内使用Cloudera CDH和Hortonworks的应该是最多的。

准实时计算框架/即席查询

1.CDH的框架有：Impala + Spark；

2.HDP的框架有：Tez + Spark；

3.MapR的框架有：Drill + Tez + Spark。

关于Spark：

2014年大数据最热门的技术路线就是算是Spark了，而且得力于Spark不遗余力的推广和快速成长。Cloudera是最早支持Spark，也是最激进的。下图即是Spark在Cloudera产品线中的定位：



实际上快速计算框架的发展才刚刚开始，社区中已经有如下几种：

1.Spark/Shark

2.Hortonworks Tez/Stinger

3.Cloudera Impala

4.Apache Drill

5.Apache Flink

6.Apache Nifi

7.Facebook Presto