提交任务到spark集群及spark集群的安装
2017-04-25 11:25
344 查看
/iflytek/server/spark/spark-2.0.0-bin-hadoop2.6/bin/spark-submit //spark集群的安装目录的bin目录下的spark-submit命令
--class com.iflytek.Mtk //项目的入口类
--master spark://192.168.76.15:7077 //master节点的网址
--executor-memory 5G //运行内存
--total-executor-cores 5 //运行核数
/root/bigdata/mtk-1.0-SNAPSHOT.jar //项目jar包位置
name=Bayes dataType=hdfsrecord actionType=train modelSave=1> hfpan //入口类要传入的参数及运行人昵称
附上spark集群安装教程：
--class com.iflytek.Mtk //项目的入口类
--master spark://192.168.76.15:7077 //master节点的网址
--executor-memory 5G //运行内存
--total-executor-cores 5 //运行核数
/root/bigdata/mtk-1.0-SNAPSHOT.jar //项目jar包位置
name=Bayes dataType=hdfsrecord actionType=train modelSave=1> hfpan //入口类要传入的参数及运行人昵称
附上spark集群安装教程：
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark集群的任务提交执行流程
- spark-submit提交任务到集群
- Spark-submit提交任务到集群
- IDEA Spark-submit提交任务到集群
- Spark提交任务到集群
- spark core源码分析1 集群启动及任务提交过程
- Cloudera集群中提交Spark任务出现java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily错误解决
- Spark集群中使用spark-submit提交jar任务包实战经验
- Spark学习之第一个程序打包、提交任务到集群
- Spark-submit提交任务到集群
- Spark提交任务到集群
- spark 选择不同yarn集群提交任务
- Java Web提交任务到Spark Standalone集群并监控
- hadoop-yarn集群中，通过shell脚本自动化提交spark任务
- spark-submit提交任务到集群-案例
- Web提交参数到Spark集群执行任务
- Spark集群任务提交
- Spark学习之第一个程序打包、提交任务到集群
- Spark入门（二）：打包程序、提交任务到集群
- windons下远程提交任务搭配linux上的spark集群