Spark安装部署
2016-03-30 12:22
369 查看
Spark集群搭建
一、准备工作
1、三台机器,配置hosts,并确保java环境jdk1.7.0_72,scala环境scala-2.11.4
192.168.5.231 ubuntu231192.168.5.232 ubuntu232
192.168.5.233 ubuntu233
2、ubuntu231选择作为主节点Master
下载spark-1.3.1-bin-hadoop2.6安装包二、解压
解压安装包到指定路径这里的全路径是
/home/spark
三、ssh免密配置(已经配置过就不用再配置)
$ ssh-keygen -t rsa$ ssh-copy-id -i ~/.ssh/id_rsa.pub 要免密码的机器的IP
四、环境变量配置
spark@ubuntu231:~$ vi .profileexport SCALA_HOME=/home/spark/scala-2.11.4
五、配置Spark
在spark-1.3.1-bin-hadoop2.6/conf目录下1、配置 spark-env.sh
2、配置slaves
六、将配置好的hadoop文件copy到另外两台slave机器上(请保持目录一致)
scp -r spark-1.3.1-bin-hadoop2.6/ spark@192.168.5.232:~/scp -r spark-1.3.1-bin-hadoop2.6/ spark@192.168.5.233:~/
到这里我们配置工作已经完成了
七、启动Spark集群
spark@ubuntu231:~/spark-1.3.1-bin-hadoop2.6$ cd sbin/spark@ubuntu231:~/spark-1.3.1-bin-hadoop2.6/sbin$ ./start-all.sh
浏览器输入 http://192.168.5.231:8090/
相关文章推荐
- Java多线程编程基础之线程对象
- 相机拍照Camera
- java大数相乘
- LeetCode 130. Surrounded Regions
- 操作系统开发系列—1.HelloWorld ●
- hdoj2015/hdoj2016/hdoj2017
- go on
- Android AES加密算法及其实现
- Android: 解决GridView、ListView在ScrollView中出现冲突的问题
- 判断变量和常量是否存在
- JAVA中使用Scanner连续输入int和String错误的解决方案
- JSTL
- 数据挖掘之特征选择
- EL表达式隐式对象
- IOS开发之UIScrollViewDelegate详解
- 关于Class.getResource和ClassLoader.getResource的路径问题
- API基础开发学习网址
- android笔记之ListView的setEmptyView方法
- iOS--UILabel字体默认宽度和高度
- JAVA中的Scanner类(IO)[JAVA][译]