yarn模式运行spark
2016-07-05 15:09
239 查看
yarn上启动spark有二种模式：yarn-client模式 和 yarn-cluster模式
yarn-cluster模式：框架在集群中启动Driver程序
yarn-client模式:框架在client中启动Driver程序
master 参数可以简单配置成yarn-client 或者 yarn-cluster
./bin/spark-submit --class 类名 --master yarn-cluster [options] 要运行的Jar包 参数等
如果运行时需要添加别的jar包依赖要用--jars来声明，加入的文件用,号隔开
yarn-cluster模式：框架在集群中启动Driver程序
yarn-client模式:框架在client中启动Driver程序
master 参数可以简单配置成yarn-client 或者 yarn-cluster
./bin/spark-submit --class 类名 --master yarn-cluster [options] 要运行的Jar包 参数等
如果运行时需要添加别的jar包依赖要用--jars来声明，加入的文件用,号隔开
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- KafkaOffsetMonitor安装&&测试
- java使用BufferedImage操作合成图片
- mysql连接数据库
- vi 使用记录
- Activity
- u-boot向linux内核传递启动参数
- Array.prototype.slice.apply(arguments)和[].shift.call(arguments)的使用方法
- objective-c 小结
- jQuery 中 attr() 和 prop() 方法的区别
- 解决 RHEL 7/ CentOS 7/Fedora 出现Unit iptables.service failed to load
- 安卓常见布局
- ViewDragHelper的使用
- 在mvn项目里添加spark_sql依赖
- 在mvn项目里添加spark_sql依赖
- 创建xcode代码片断
- android开发要避免的那些坑
- android开发要避免的那些坑
- 使用xib常犯的错
- JQuery 获取checkbox被选中的值
- Event keyCode大全