intellij导入spark maven project并打包运行
2018-01-24 17:15
176 查看
一、将maven project导入intellij
1.file->open->选择项目所在的目录->OK
2.等待生成项目后,引入依赖jar包:file->Project Structures->Libraries-> + ->Java ->选择依赖jar包 - OK
二、生成jar包并运行
1.file->Project Structures-> Artfacts -> Jar -> From moudles with dependencies...-> moudle一栏选择项目名称-> OK
2.在界面右侧配置OutPut directory,右击项目名称->Put into Output Root ->apply -OK
三、提交spark任务
上传jar包到spark客户端,执行命令 spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/client/spark/xxxxxxxxxx.jar /tmp/spark/input
1.file->open->选择项目所在的目录->OK
2.等待生成项目后,引入依赖jar包:file->Project Structures->Libraries-> + ->Java ->选择依赖jar包 - OK
二、生成jar包并运行
1.file->Project Structures-> Artfacts -> Jar -> From moudles with dependencies...-> moudle一栏选择项目名称-> OK
2.在界面右侧配置OutPut directory,右击项目名称->Put into Output Root ->apply -OK
三、提交spark任务
上传jar包到spark客户端,执行命令 spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/client/spark/xxxxxxxxxx.jar /tmp/spark/input
相关文章推荐
- Intellij IDEA开发环境搭建,scala配置及打包,jar包在spark中的运行
- sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行(可以使用)
- 编写第一个用scala写的spark任务,用sbt打包成jar,并单机模式下运行
- Intellij IDE+ Spark 2.4 例子运行(源码断点跟踪)
- JDK8+Scala2.11+spark-2.0.0+Intellij2017.3.4开发wordcount程序并在集群中运行
- CDH5.8手动安装spark2.1的运行错误整合 spark访问Hbase 数据导入mysql
- intelliji idea 基于maven运行spark程序
- Intellij IDEA 导入或运行流式处理框架storm以及java.lang.NoClassDefFoundError报错的解决方案
- 【iOS-cocos2d-X 游戏开发之七】整合Cocos2dX的Android项目到Xcode项目中,Android导入打包运行即可!
- Android导入Unity混合打包后运行异常的解决
- 编写第一个用scala写的spark任务,用sbt打包成jar,并单机模式下运行
- spark程序打包集群运行方法及使用中的几个问题解决
- 包的定义及导入(打包编译、运行以及jar命令的使用)
- Spark - IDEA 打包 Scala,Spark Local 模式运行
- IntelliJ IDEA Spring Boot(8)使用JSP,打包jar文件运行带有jsp的项目
- idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行
- cocos2dx最新2.1.5版本跨平台整合NDK+Xcode,Xcode编写&编译代码,Android导入打包运行
- 打包并提交运行Spark应用程序jar包
- 【iOS-cocos2d-X 游戏开发之七】整合Cocos2dX的Android项目到Xcode项目中,Xcode编写&编译代码,Android导入打包运行即可!