大数据与云计算基础知识总结（一）

1.云计算来源：

Google搜索引擎首先提出，并通过三篇论文为世人所知。

2.云计算定义：

动态扩展，通过网络将虚拟化资源作为服务提供。（Iaas,Paas,Saas）

Iaas：提供硬件资源，AWS，网络服务，基础架构。

Paas：提供服务引擎，接口运行平台。

Saas：软件租用，使用状况。

3.其他云分类：

公有云、私有云、混合云。（分布式存储、分布式计算）

4.大数据作用：

可视化分析、数据挖掘算法、预测性分析、语音引擎、数据质量与管理。

5.关键性技术：

GFS、BigTable、Map-Reduce=>三篇论文是Hadoop的基础。

6.Hadoop的三种模式：

Lucene单机模式、伪分布式模式、完全分布式模式。

三种发行版本：Apache Hadoop、CDH（Cloudera）、HDP（HortonWorks）。

7.Hadoop的优势：

运行方便、健壮性、可扩展性、简单易应用、分布式、高效高容错。

8.大数据的四个特征（4V特性）：

海量化、多样化、快速化、价值化。

9.Hadoop1（0.20x,0.21x,1.x）与Hadoop2（0.23x,2.x）的对比：

块大小从64M到128M，增加了Yarn优化计算框架，Federation机制（多个NameNode，共享式存储的HA模式，高可靠性）。

10.Hadoop的产生：

Doug Cutting是Hadoop之父，Hadoop是Apache软件基金会的顶级开源项目。

11.Hadoop组件介绍：

HDFS：分布式文件系统，提供高吞吐量访问应用程序数据；

YARN：集群资源管理框架，用户作业调度和集群资源管理；

MapReduce：基于YARN的大数据集并行处理系统；

Common：支持其他模块通用功能，如序列化，RPC，持久化数据结构等；

Ambari：部署管理和监视的开源框架，提供直观操作工具和健壮性的API；

Hbase：可拓展的分布式列式数据库，支持大表的结构化存储；

Hive：分布式数据仓库系统，提供基于类SQL查询语言；

Mahout：机器学习和数据挖掘领域经典算法实现；

Pig：高级数据流语言和执行环境，用来检索海量数据集；

Spark：快速通用计算引擎，支持多应用的编程模型；

Sqoop：在关系型数据库与Hadoop之间进行数据传输的工具；

Tez：从MR演化而来的通用DAG计算框架，作为底层数据处理引擎；

ZooKeeper：提供Hadoop集群高性能的分布式协调服务。

12.HDFS体系架构：

是主/从（Master/Slave）体系结构，有NameNode和一定数目的DataNode组成。（元数据存储）特点是：一次写入，多次读取。

NameNode的元数据：内存=>edits=>硬盘（fsimage镜像映射）；

SecondaryNameNode的运行：请求edits与fsimage=>合并fsimage.ckpt=>返回fsimage。

13.云计算的Iaas平台：

Openstack（Python）、cloudstack（Java）=>虚拟机服务。

14.常见的分布式文件系统：

Windows：FAT32，NTFS；

Linux：EXT3，EXT4；

分布式：GFS（谷歌）、Ceph（性能高不成熟）、Lustre（sun公司）、MogileFs（danga）、mooseFs（性能差）、FastDFS（轻量级）、TFS（淘宝）、GridFS（MongoDB）。

15.副本位置选取原则：

不同机器、不同机架、不同机房、不同地域。

16.YARN的原理：

基本思想是MRv1（缺点：扩展受限、单点故障、难以支持MR之外的计算）。Yarn是通用资源管理平台，为各类计算框架提供资源的管理和调度（离线处理MapReduce、在线处理的Storm、内存计算框架的Spark）。总体上是Master/Slave结构，将节点资源（内存、CPU、磁盘、网络等）抽象为资源容器Container。其中内存是一种“决定生死”的资源，CPU是一种“影响快慢”的资源。

由MR的JobTracker拆分为ResourceManaer和ApplicationMaster。

ResourceManaer由Scheduler调度器和ApplicationsManager应用程序组成。

NodeManager是每个节点上的资源和任务管理器，会处理AM上的Container请求。

17.Yarn的其他技术：

功能：处理客户端请求、启动监控、资源分配与调度。

HDFS的两大技术：RPC协议（远程过程调用）和序列化技术。

RAID（数据磁盘冗杂阵列）：RAID 0、RAID 1、RAID 5、RAID 10。

Ssh认证：RSA签字、DSA签字、单机码（认证码）。

DAG计算框架：依赖关系有向无环图。Tez

Yarn的资源分配算法：FIFO（先来先调度）、RAIR（公平调度）、DRF（资源调度）。

18.MapReduce的原理：

作为分布式计算框架，具有键值对的特性，由三部分组成：编程模型、数据处理引擎、运行时环境。主要依赖于合并函数（映射、化简），三个层面进行处理：大数据、抽象模型、构架层次。主要由JobTracker和TaskTracker执行调度和并行操作。

优势：易于编程、良好的扩展性、高容错性、延时较高、不适合实时、流式、DAG依赖计算。

具体流程：作业提交初始化=>任务调度与监控=>任务运行环境准备=>任务执行=>作业完成。（input=>map=>combiner=>shuffle=>reduce）

Map过程（partition是最小处理单元）、Reduce过程（shuffle=>sort=>reduce）。

槽位slot是MR的能力处理衡量的最小单元，=>处理器。

可编程组件：

InputFormat(Split)=>Mapper=>Partitioner=>(shuffle)Reducer(sort)=>OutputFormat。

数据处理引擎：（一个Job划分为Map和Reduce两个阶段，由Task负责执行）

Map Task：Read=>Map=>Collect=>Spill=>Combine

Reduce Task：Shuffle=>Merge=>Sort=>Reduce=>Write

19.ZooKeeper的原理

针对大型分布式系统的可靠性协调系统，能为HDFS、Hbase、MapReduce等组件提供重要功能职称。提高可靠的、可扩展的、分布式的、可配置的协调机制。不足是静态，互锁，不一致行。特征是简单、冗余、有序、快速。

定义：集中式服务、用户维护配置信息、命名服务、分布式同步以及组服务。

ZooKeeper是PTP模式，由Server提供负责，由Leader节点和Follower节点构成。

数据模型：基于树形结构的命名空间，与文件系统类似。根节点是Znode，可以是临时节点也可以是持久性节点，客户端和服务器采用长连接方式，通过心跳保持连接，称之为session。

监听watches（触发器）与Znode的状态变化有关，时间变化一次出发一次，可注册监听。

Stat结构：version+ACL+timestamp+data length。（包含节点地址、节点数据、子节点地址）

Zxid表示每次节点数据变更的同步策略。

实现ACL（访问控制机制）的四种认证：world、auth、digest、ip。

20.HBase的原理

非关系型数据库，如redis/MongoDB等。Hbase的需求是半结构化与非结构化数据，记录稀疏，多版本数据，超大数据量。是在Hadoop上开发面向列的分布式数据库，是典型的NOSQL数据库。特点是：数据量大，面向列，稀疏数据（null值的处理不占存储空间）。基于三个基础：HDFS的底层存储，MR的计算框架，ZooKeeper的协同协议。全部都是字节数据形式存储，以字典序排列。

单元cell的定位：行+列簇+列+版本信息（时间戳Timestamp）。

两个特殊表：ROOT和META。路径：ZooKeeper=>ROOT=>META=>region。

两个对象：HMaster,HRegion Server。管理操作接口。Hregion是分布式存储和负载均衡的最小单元。HFile是最小的存储单元。

HRegion Server=>HRegion=>HStroe=>memstroe,strorefiles(hfile)

两个方法：

compaction合并归类，compact阈值处理。（storeFil
4000
es=>storeFile）

split分割切分，阈值处理。storeFIle=>Region=>two Region

Hlog日志：保证数据恢复，WAL（write ahead log）

数据库原理：CAP原则（一致性、可用性、隔离分区性）

21.Spark生态系统

通过内存并行计算的框架，使用Scala语言实现。在内存中运算，需要时才持久化到磁盘，大大减少了数据处理过程中磁盘的读写，降低了所需时间，提高了效率。

特点：运行速度快，易用性好，通用性强，随处可以运行等等。

适用场景：批量处理，交互式查询，数据流实时处理，图形图像处理。

运行模式：本地模式，集群模式（standalone、On yarn、On mesos、On cloud）。

YARN-Client与YARN-Cluster的联系区别。

与Hadoop的差异：内存运算效率高，容错性高，更通用的算子。

生态圈：以spark core为核心，以HDFS为持久层，以mesos和yarn为调度器，完成job任务。

22.spark生态圈：

Spark core：DAG框架，RDD抽象，移动计算，多线程池，akka通讯框架。

Spark streaming：将实时数据批量处理，容错、实时、扩展性与吞吐量。

Spark SQL：前身是shark，是Hive的spark版本，有个关于RDD的计算。

BlinkDB：海量数据交互式SQL查询，是spark SQL的封装。

MLBase/Mllib：机器学习，其它的如WeKa/Mahout。

GraphX：图和图形并行计算，图形化处理。

SparkR：R开发包，扩展数据处理能力，R语言的扩展。

Tachyon：分布式内存存储，内存缓存处理。

23.RDD（弹性分布式数据集）算子

定义为只读、分区化的记录集合，通俗地讲，RDD是对原始数据进一步的封装。封装的作用：第一使数据访问权限被限制，数据只读，不能被修改；第二数据操作功能被强化，使得实现分布式存储，并发处理，自动容错等功能。

来源：第一是将未被封装的原始数据进行封装操作，根据数据的存在形式，可分为由集合并行化获得或者从外部数据集中获得；第二是由其他RDD通过转换操作获得，可返回新的RDD，并不影响原来的RDD内容。

触发计算的操作为动作（Action）操作，延时计算特性被称为RDD的计算惰性（Lazy）。

RDD类型：包括MappedRDD、HadoopRDD、FilteredRDD。对于一个RDD执行不同变换操作，可能得到不同类型的RDD。

Application：Driver（sparkContext 驱动）+Executor（执行数据）。

Executor：原生数据（输入输出）、RDD（输入、转换、缓存）、共享变量（广播、累加器）。

Operation（操作）：Transformation（变换操作）和Action（动作操作）。变换操作用于得到新的RDD，动作操作用于向驱动程序返回值或者将值写入文件。

RDD：负责spark的真正调度。DAG Scheduler和Task Scheduler。（计算单元，基本抽象）

RDD的依赖：变换操作对应两个或者多个RDD之间的关系，即为依赖关系。提供数据的一个或多个RDD成为父RDD，创建得到的RDD为子RDD。分为宽依赖（Shuffle依赖）和窄依赖。

RDD的持久化：检查点（CheckPoint）操作，将使得数据恢复不丢失。

24.端口号

8088 yarn集群状态 50070 HDFS状态 9000 HDFS访问端口

4040 spark运行状态 50075 基于YARN的spark状态

2181 zookeeper端口 60010 hbase端口 8080 spark的端口