Spark学习之第一个程序打包、提交任务到集群
2018-02-21 11:06
423 查看
1、免秘钥登录配置:
ssh-keygen cd .ssh touch authorized_keys cat id_rsa.pub > authorized_keys chmod 600 authorized_keys
2、环境工具
2.1环境
系统 urbuntu jdk 1.7.0_79scala 2.10.4
hadoop 2.6.0
spark 1.6.2
2.2打包工具
IDEA + sbt1.2打包工具
3.打包
3.1安装插件
需要预先安装scala插件,点击File ->Setting ->Plugins ->输入框输入scala->install安装完成需要重启IDE
3.2创建项目
File -> New Project ->Scala -> SBT 选择相应版本 ->finish3.3编写代码
build.sbt 添加spark相关依赖name := "demoPro" version := "1.0" scalaVersion := "2.10.4" libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.2"
创建WordCount.scala,编写如下代码
import org.apache.spark.{SparkContext, SparkConf} /** * Created by Administrator on 2018/2/20. */ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("wordcount") val sc = new SparkContext(conf) val input = sc.textFile("/home/dell/helloSpark.txt") val lines = input.flatMap(line => (line.split(" "))) val count = lines.map(word => (word, 1)).reduceByKey { case (x, y) => x + y } val output=count.saveAsTextFile("/home/dell/helloSparkRes") } }
3.4打包
File -> Project Structure -> Aritifacts -> 点击+号 ->jar -> 第二个 -> 指定Module和 MainClass -> JAR files from libraries 选择第二个 ->点击ok主题栏点击Build -> Build Aritifacts - Build
在工程目下out目录中生成相应jar包即打包成功
4.提交任务
4.1启动hadoop
#进入sbin目录 cd $Hadoop_HOME/sbin #启动hadoop集群 start-all.sh
4.2上传测试文件到hdfs
hadoop fs -put test.txt /test/test.txt
4.3上传程序jar包
是同filelize 或者sftp 或者 rz -y命令上传程序jar4.4 提交任务
4.4.1启动Master
sudo ./start-master.sh
访问localhost:8080 获取spark://xxx:7077
4.4.2启动Worker
sudo ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://dell:7077
4.4.3提交作业
sudo ./bin/spark-submit --master spark://dell:7077 --class WordCount /home/dell/demopro.jar
显示如图:
![](https://images2018.cnblogs.com/blog/718867/201802/718867-20180221105758532-85737463.png)
5、查看测试程序是否正确
5.1、查看 是否生成文件夹 进入文件查看程序是否正确
![](https://images2018.cnblogs.com/blog/718867/201802/718867-20180221110035164-1510351020.png)
5.2、进入文件查看程序是否正确
![](https://images2018.cnblogs.com/blog/718867/201802/718867-20180221110059622-1628856277.png)
相关文章推荐
- Spark学习之第一个程序打包、提交任务到集群
- Spark入门(二):打包程序、提交任务到集群
- 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验
- sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类
- IDEAJ中Scala打包提交Spark集群运行
- Spark提交任务到集群
- spark程序提交集群和监控
- Spark集群模式&Spark程序提交
- Spark2.x学习笔记:8、 Spark应用程打包与提交
- 将java开发的wordcount程序提交到spark集群上运行
- Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上
- 基于mesos集群中spark是如何提交任务的
- spark源码学习(八):spark具体是如何使用集群的资源去运行任务
- Spark集群任务提交
- Spark程序提交到Yarn集群时所遇异常
- spark用程序提交任务到yarn Spark自定义分区(Partitioner) textfile使用小技巧 createDirectStream
- spark 选择不同yarn集群提交任务
- Spark-submit提交任务到集群
- 编写Spark程序并提交到集群上运行
- Spark组件之SparkR学习2--使用spark-submit向集群提交R代码文件dataframe.R