Mac下安装Spark开发环境(Linux系统可参照)
2015-01-10 14:24
351 查看
之前一直使用VNC在远程集群上进行Spark程序开发,但是网络的不稳定以及集群时常升级让人头疼。在这里我在自己的Mac上
搭建单机Spark开发环境,作为学习开发已经足够。Linux系统用户也可以参考。
Scala 11.4
在Spark下载界面下载Spark
1.2.0。我在Mac上并没有使用hdfs(可根据个人需求选择性安装),选择Hadoop1.X版本,最后点
击第4项的spark-1.2.0-bin-hadoop1.tgz直接下载即可。
![](http://img.blog.csdn.net/20150110143709703?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
tar -zxvf spark-1.2.0-bin-hadoop1.tgz
![](http://img.blog.csdn.net/20150110145215376?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
然后进行系统变量配置:
sudo vim /etc/profile
![](http://img.blog.csdn.net/20150110144711285?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
配置环境变量如下:
![](http://img.blog.csdn.net/20150110144853593?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
配置好之后进入解压后的Spark目录下的conf目录,执行如下命令
cp spark-env.sh.template spark-env.sh
![](http://img.blog.csdn.net/20150110211116394?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
修改spark-env.sh中的内容,加入如下配置:
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g
![](http://img.blog.csdn.net/20150110203315358?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
进行本机SSH配置,在主目录下输入如下命令:
ssh-keygen –t rsa –P ''
然后一直按回车直到结束,接着输入命令:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
最后需要做的一件事是在System Preferences->Sharing中选中Remote Login选项(对于Linux系统可以忽略此步骤直接看第四步)
![](http://img.blog.csdn.net/20150110204056125?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
此时可以使用ssh locahost命令测试SSH免密码通讯是否配置成功。
首先进入Spark目录中的sbin子目录运行如下脚本启动Spark:
./start-all.sh
![](http://img.blog.csdn.net/20150110204910000?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
输入 jps 命令查看Spark是否运行:
![](http://img.blog.csdn.net/20150110205111292?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
可以看到Master 和 Worker进城都已经启动
2.使用spark shell 进行测试
进去Spark目录下的bin子目录运行如下脚本启动Spark shell:
spark-shell
当看到如下界面的时候你已经成功了:
![](http://img.blog.csdn.net/20150110205548250?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveWFuZ211dGVk/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
恭喜你,继续享受Spark吧。
(by希慕,转载请注明出处)
搭建单机Spark开发环境,作为学习开发已经足够。Linux系统用户也可以参考。
一、本机环境
Macbook pro retina with 8G memory二、准备工作
JDK 1.6.05Scala 11.4
在Spark下载界面下载Spark
1.2.0。我在Mac上并没有使用hdfs(可根据个人需求选择性安装),选择Hadoop1.X版本,最后点
击第4项的spark-1.2.0-bin-hadoop1.tgz直接下载即可。
三、配置环境
首先解压Spark压缩包:tar -zxvf spark-1.2.0-bin-hadoop1.tgz
然后进行系统变量配置:
sudo vim /etc/profile
配置环境变量如下:
配置好之后进入解压后的Spark目录下的conf目录,执行如下命令
cp spark-env.sh.template spark-env.sh
修改spark-env.sh中的内容,加入如下配置:
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g
进行本机SSH配置,在主目录下输入如下命令:
ssh-keygen –t rsa –P ''
然后一直按回车直到结束,接着输入命令:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
最后需要做的一件事是在System Preferences->Sharing中选中Remote Login选项(对于Linux系统可以忽略此步骤直接看第四步)
此时可以使用ssh locahost命令测试SSH免密码通讯是否配置成功。
四、运行Spark
1.启动Spark首先进入Spark目录中的sbin子目录运行如下脚本启动Spark:
./start-all.sh
输入 jps 命令查看Spark是否运行:
可以看到Master 和 Worker进城都已经启动
2.使用spark shell 进行测试
进去Spark目录下的bin子目录运行如下脚本启动Spark shell:
spark-shell
当看到如下界面的时候你已经成功了:
恭喜你,继续享受Spark吧。
(by希慕,转载请注明出处)
相关文章推荐
- Mac下安装Spark开发环境(Linux系统可参照)
- Mac下安装Spark开发环境(Linux系统可参照)
- Mac下安装Spark开发环境(Linux系统可参照)
- Fedora14 Linux系统安装Golang开发环境笔记
- [置顶] Windows 7, VMware Workstation10部署IOS开发环境[Mac OS X Server10.6系统安装]
- Linux系统安装php开发环境
- Mac系统下配置Android开发环境变量及工具安装图
- mac系统里spark单机环境的安装和配置
- Linux ubuntu mint 系统安装和基本开发环境的搭建
- Linux系统搭建Java开发环境(JDK安装)
- 苹果mac系统下cocos2d android和ios含NDK开发环境搭建 安装说明20161129
- ESP8266 机智云 开发环境搭建(一)安装Linux系统
- Mac系统下安装android开发环境
- Mac系统下安装android开发环境
- vmware安装mac的maverick 10.9系统后ios7开发环境xcode 5项目的运行(run不了项目)的解决方法
- Linux开发环境搭建与使用——Linux系统( ubuntu )安装方案
- Ubuntu、CentOS Linux系统安装Erlang,部署Eclipse+Erlide开发环境
- 安装、输入-LinuxNote3.WIn7与ubuntu双系统以及Android开发环境-by小雨
- linux系统开发 1 基础apt-get 进程 作业 环境变量 安装vsftpd vim gcc gdb Makefile
- 生产环境实战spark (1)Linux ubuntu系统安装