Spark（火花）快速、通用的大数据处理引擎框架

一、什么是Spark（火花）？

是一种快速、通用处理大数据分析的框架引擎。

二、Spark的四大特性

1.快速：
Spark内存上采用DAG（有向无环图）执行引擎非循环数据流和内存计算支持。 内存上比MapReduce快速100倍，磁盘上快10倍左右

MapReduce存储读取在磁盘上，大数据批量处理系统

2.简洁性

编程起来很简单，Spark由Scala编写，方法式操作

Scala-Python-java

3.通用性

一站式相当于JAR包，结合SQL、流、库、图形、Apache Spark

4.运行方式环境

单独运行 集群 hadoop 云端

Spark与MapReduce（数据的处理引擎）的相比的区别？

1.基本原理

MapReduce是基于磁盘的大数据批量处理系统

Spark：基于RDD（弹性分布式数据处理集）数据处理，显式的将RDD数据存储到磁盘或者内存中

2.从模型上

MapReduce可以处理批量数据，适用于日志分析挖掘

Spark适合数据的挖掘

3.容错性

a）数据的容错性:

b)节点的容错性：spark lineage

Spark的编译

1.SBT编译  --scala编译

2.maven编译

安装jdk

下载地址：www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html

安装maven

下载地址：maven.apache.org/download.cgi

2、配置环境变量

# sudo vim /etc/profile

JAVA_HOME=/opt/data02/jdk-9.0.1
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

MAVEN_HOME=/opt/data02/apache-maven-3.5.2
PATH=$PATH:$MAVEN_HOME/bin

#SCALA
SCALA_HOME=/opt/data02/SCALA
PATH=$PATH:$SCALA_HOME/bin

3、使配置文件立即生效

source /etc/profile

需要FQ的两个注意事项

1.sudo vi /etc/resolv.conf  添加

nameserver 8.8.8.8

nameserver 8.8.4.4

2.在maven 的setting.xml中添加

<mirror>
            <id>osc_thirdparty</id>
            <mirrorOf>thirdparty</mirrorOf>
            <url>http://maven.oschina.net/content/repositories/thirdparty/</url>
        </mirror>

3.打包编译