02 初识Hadoop

初识Hadoop

Hadoop概述

概述

The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures.

The project includes these modules:

Hadoop Common: The common utilities that support the other Hadoop modules.

Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.

Hadoop YARN: A framework for job scheduling and cluster resource management.

Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.

能做什么

搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务，搜索引擎，日志分析，商业智能，数据挖掘

Hadoop核心组件

分布式文件系统HDFS

源自Google的GFS论文，论文发表于2003年10月

HDFS是GFS的克隆版

HDFS特点：扩展性，容错性，海量数量存储

将文件切分成指定大小的数据块并以多副本的存储在多个机器上

数据切分、多副本、容错等操作对用户是透明的

资源调度系统YARN

YARN：Yet Another Resource Negotiator

负责整个集群资源的管理和调度

YARN特点：扩展性、容错性、多框架资源统一调度

分布式计算框架MapReduce

源自Google的MapReduce论文，论文发表于2004年12月

MapReduce是Google MapReduce的克隆版

MapReduce特点:扩展性、容错性、海量数量离线处理

Hadoop优势

高可靠性

数据存储：数据块多副本

数据计算：重新调度作业计算

高扩展性

存储/计算资源不够时，可以横向的线性扩展机器

一个集群中可以包含数以千计的节点

其他

存储在廉价机器上，降低成本

成熟的生态圈

Hadoop生态系统

狭义的Hadoop：是一个适合大数据分布式存储(HDFS)、分布式计算(MapReduce)和资源调度(YARN)的平台

广义的Hadoop：指的是Hadoop生态系统,Hadoop生态系统是一个很庞大的概念,hadoop是其中最重要最基础的一个部分，生态系统中的每一个子系统只解决某一个特定的问题域(甚至可能很窄),不搞统一型的一个全能系统，而是小而精的多个小系统

生态圈特点

开源、社区活跃

囊括了大数据处理的方方面面

成熟的生态圈

Hadoop发行版的选择

发行版

Apache Hadoop 仅用于学习

CDH:Cloudera Distributed Hadoop 下载地址

HDP:Hortonworks Data Platform

Hadoop企业应用案例

消费大数据–预测式发货

商品零售大数据