后台运行spark-submit命令的方法
2015-11-19 16:33
1886 查看
在使用spark-submit运行工程jar包时常常会出现一下两个问题:
1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志;
2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序便终止运行。
其中,第一个问题可以通过将运行日志重定位到文件中来解决,命令如下:
运行上条命令则可将手打的log保存到~/testLog.out中,且日志中仅保存手打Log内容。
第二个问题,则可以通过后台运行Spark-submit命令nohip来解决,命令如下:
运行上条命令则实现在后台运行spark命令,不用担心电脑异常关机以及命令行不小心关闭等问题,且输出日志保存在当前目录的nohip.out目录中。
如果希望既可以后台运行命令又可以将日志保存到目的文件中,则可将上述两个命令结合起来,命令如下:
如此,便可实现后台运行的问题,nohip不仅可以用于后台执行Spark命令,也可用于后台执行其他jar包,可具体查找nohip的使用方法。
1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志;
2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序便终止运行。
其中,第一个问题可以通过将运行日志重定位到文件中来解决,命令如下:
spark-submit testSpark.jar > ~/testLog.out
运行上条命令则可将手打的log保存到~/testLog.out中,且日志中仅保存手打Log内容。
第二个问题,则可以通过后台运行Spark-submit命令nohip来解决,命令如下:
nohip spark-submit testSpark.jar &
运行上条命令则实现在后台运行spark命令,不用担心电脑异常关机以及命令行不小心关闭等问题,且输出日志保存在当前目录的nohip.out目录中。
如果希望既可以后台运行命令又可以将日志保存到目的文件中,则可将上述两个命令结合起来,命令如下:
nohip spark-submit testSpark.jar > ~/testLog.out &
如此,便可实现后台运行的问题,nohip不仅可以用于后台执行Spark命令,也可用于后台执行其他jar包,可具体查找nohip的使用方法。
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- 表单项的name命名为submit、reset引起的问题
- form.submit()不能提交表单的错误原因及解决方法
- 表单Form的submit事件不响应的解决方法
- 解决jquery submit()提交表单提示:f[s] is not a function
- document.forms[].submit()使用介绍
- js确认删除对话框适用于a标签及submit
- 在javaScript中关于submit和button的区别介绍
- jquery中使用$(#form).submit()重写提交表单无效原因分析及解决
- eclipse 开发 spark Streaming wordCount
- Spark中将对象序列化存储到hdfs
- Spark初探
- Spark Streaming初探
- 搭建hadoop/spark集群环境
- 整合Kafka到Spark Streaming——代码示例和挑战
- Spark 性能相关参数配置详解-任务调度篇
- 基于spark1.3.1的spark-sql实战-01