zookeeper笔记--配置以及和spark hbase结合使用
2015-10-25 20:40
615 查看
Spark集群基于ZooKeeper的搭建:http://www.dataguru.cn/thread-333245-1-1.html
Spark需要修改的地方:
进入spark的配置目录,参照下面代码修改spark-env.sh
hbase+zookeeper:
不错的资料 http://blog.csdn.net/lxf310/article/details/17263337 http://my.oschina.net/hanzhankang/blog/129335
Spark需要修改的地方:
进入spark的配置目录,参照下面代码修改spark-env.sh
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node4:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark" export JAVA_HOME=/usr/local/bin/jdk1.7.0_71 #export SPARK_MASTER_IP=node4 #export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=1g
hbase+zookeeper:
不错的资料 http://blog.csdn.net/lxf310/article/details/17263337 http://my.oschina.net/hanzhankang/blog/129335
相关文章推荐
- 实验五 Java网络编程及安全
- I/O具体类
- 周赛 5 【思路题】
- iOS 计算某个时间距今天的天数
- 信息安全系统设计基础第六周学习总结
- 大型分布式数据库集群的研究
- iOS之UI高级---CALayer和CAAnimation的混合使用
- Java简介
- Linux系统Java连接Mysql数据库
- Android Studio 导入.so文件出现的错误
- JAVA中的反射机制
- 基于RBF简单的matlab手写识别
- Python基础(五) Python文件操作
- 原因以及如何避免产生僵尸进程
- 通知
- [LeetCode][JavaScript]Remove Duplicates from Sorted List
- 在一条SQL语句中向2个表中插入数据解决方案
- 怎么理解int main(int argc, const char *argv[])
- strlen和sizeof有什么区别?
- Folding