spark-submit动态提交的办法（SparkLauncher实战）
2016-04-02 22:14
316 查看
spark程序编译完成后，一般都要传送到spark-submit进行调用。
然而为了使程序更加易于集成，需要spark-submit能够动态化
SparkLauncher是spark提供的外部调用的接口。
Library for launching Spark applications.
This library allows applications to launch Spark programmatically. There's only one entry point to the library - the
从上面的API说明可以看出，支持以编程的方式实现SPARK程序的提交。
于是采用这个API进行实验，果真可以成功。
其中为了将结果获取，还是需要进行一些操作的。目前仅仅是调用PI成功
然而为了使程序更加易于集成，需要spark-submit能够动态化
SparkLauncher是spark提供的外部调用的接口。
Package org.apache.spark.launcher Description
Library for launching Spark applications.This library allows applications to launch Spark programmatically. There's only one entry point to the library - the
SparkLauncherclass.
从上面的API说明可以看出，支持以编程的方式实现SPARK程序的提交。
于是采用这个API进行实验，果真可以成功。
其中为了将结果获取，还是需要进行一些操作的。目前仅仅是调用PI成功
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Android网络图片加载缓存处理库的使用
- 5.2 高精度运算
- 自定义ScrollView+自定义滚动条
- 用switch语句制作菜单
- ACM输入问题以及矩阵最大路径累加和
- 常见数据库面试题目
- ARM-RTC的简单使用
- uboot.2016.03 在mini2440上norfalsh启动
- 用git写书
- jdk+tomcat+eclipse配置
- 电子小制作：一个家庭常见物理量显示装置
- 学习计划
- 数据类型TextView中添入int型的错误
- PE 001~010
- hibernate实体映射的一些可选优化/配置
- 软件工程第四个程序：结对项目 —— 电梯调度问题（分析）
- thinkphp3.2.3笔记-验证码
- 物联网： 深圳创客活动亲历之现状
- 第三周项目四（4）-三色球问题
- PHPStorm汉化