Spark 1.X DatandaLone伪分布环境搭建

Spark 1.X DatandaLone环境搭建（伪分布）

##安装与spark编译版本一致的hadoop
1.安装JDK与Scala，解压，配置环境变量即可。

2.安装hadoop
tar -zxf hadoop-2.6.0-cdh.5.4.0.tar.gz -C /uer/local
#hadoop官方配置地址： http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 1.修改（关于环境JDK等的配置文件）hadoop-env.xml
2.修改（关于集群节点的配置文件）core-site.xml
3.修改（关于hdfs配置文件） hdfs-site.xml
x.设置节点（save.xml）指向 指向子节点
4.格式化:bin/hdfs namenode -format
5.启动集群:start-all.sh

3.安装standalone
1.修改（关于spark环境的文件） spark-env.xml
1（jdk）.JAVA_HOME=/usr/java/jdk1.7
2（SCALA）.SCALA_HOME=/usr/local/scala
3(HADOOP配置).
HADOOP_CONF_DIR=/usr/local/hadoop/env/hadoop
4（SPARK主机名）.SPARK_MASTER_IP=localhost
5（SPARK端口）.SPARK_MASTER_PORT=7077
6（SPARKUI端口）.SPARK_MASTER_WEIUI_PORT=8080
7（SAPRK可以用CPU的1核心）.SPARK_WORKER_CORES=1
8（work端口）.SPARK_WORKER_PORT=7078
9（可用内存）.SPARK_WORKER_MEMORY=1000m
10(一个实例).SPARK_WORKER_INSTANCES=1
2.修改:slave.xml.templete改名 slave.xml
1.内容指定 work工作节点
3.修改:spark-default.xml.templete改名spark-default.xml
1.spark.master   spark://localhost:7077

4.启动
0.start-namenode.sh,start-datanode.sh
JSP:NameNode,DataNode,Jps

1.sbin/start-master.sh
JPS:NameNode,DataNode,Master,Jps

2.sbin/start-slaves.sh
JPS:NameNode,DataNode,Master,Work,Jps
通过页面：localhost:8080端口访问即可。
（8080在SPARK_MASTER_WEIUI_PORT中设置）

功成