spark学习4 yarn运行
2015-06-09 21:41
225 查看
配置spark-env
HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop/
yarn运行spark包
yarn-cluster \ 集群模式yarn-client \ 客户端
虚拟机 内存不要设置太大 要不会出错 还有队列没搞懂怎么设置
./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn-client \ --num-executors 2 \ --driver-memory 512m \ --executor-memory 512m \ --executor-cores 1 \ lib/spark-examples-1.3.1-hadoop2.6.0.jar \ 10
spark-shell 运行在yarn上
./bin/spark-shell --master yarn-client
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 解决MyEclipse当确认所有配置都配好后还是无法达到目的的问题
- 某整形数组中除了两个单身整数外， 其余的整数都是成对出现的， 利用C/C++代码求出这两个单身整数。 要求： 时间复杂度o(n), 空间复杂度o(1)------某公司招聘试题
- 修改Active Directory域控制器IP地址
- Android基础系列-----------OpenGL ES（一）
- gem5配置
- android AudioManager 类详解
- PHP设计模式——中介者模式
- MT4平台上mql4实现的基于macd指标的智能交易EA
- C++中 引入虚基类的作用
- linux 下的软路由zebra 安装使用
- 开放模式识别和图像处理之旅
- Android项目中的R文件丢失
- 软件测试的完整分类
- [LeetCode] Remove Duplicates from Sorted Array II
- java设计模式 ----工厂模式
- 两阶段提交协议（2PC）
- 模型 - 视图 - 控制器（MVC）详解
- POJ 2096 Collecting Bugs
- Statement和PreparedStatement的区别; 什么是SQL注入，怎么防止SQL注入？
- JavaScript编码规范