您的位置:首页 > 其它

zookeeper笔记--配置以及和spark hbase结合使用

2015-10-25 20:40 615 查看
Spark集群基于ZooKeeper的搭建:http://www.dataguru.cn/thread-333245-1-1.html

Spark需要修改的地方:

进入spark的配置目录,参照下面代码修改spark-env.sh

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node4:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark"
export JAVA_HOME=/usr/local/bin/jdk1.7.0_71
#export SPARK_MASTER_IP=node4
#export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g


hbase+zookeeper:

不错的资料 http://blog.csdn.net/lxf310/article/details/17263337 http://my.oschina.net/hanzhankang/blog/129335
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: