1.如何配置Eclipse来使用Java编写Spark App
2017-03-28 15:41
441 查看
1. 环境准备
Eclipse 请不要使用最新的 Neon(4.6) ,太多Bug了。 还是使用最新的Mars(4.5) 系列吧JDK 版本8.x (Linux推荐Oracle, 没有测试过OpenJDK)
因为只是用Java,因此无需安装Scala及其相应的插件
2. 创建一个新的maven项目
3. pom.xml
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0</version> <exclusions> <exclusion> <groupId>javax.servlet</groupId> <artifactId>*</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.6.1</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>1.6.1</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.10</artifactId> <version>1.6.1</version> </dependency> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.10.5</version> </dependency>
这里只列出了必要的几个依赖。 其他的请根据你自己的项目需求添加
4. 使用maven打包
右键项目-》run as-》maven build之后在Goal 之中填写clean package 即可
如果在修改了与Spark相关的代码之后,需要重新编译打包才行。 否则会有异常提示。
5. 代码编写注意事项:
在创建JavaSparkContext的时候,需要把自己加进去。public static JavaSparkContextgetContext(String taskName) { JavaSparkContextsc = new JavaSparkContext(SparkConnUtils.getSparkConf(taskName)); sc.addJar("target/sparkstat-0.0.1-SNAPSHOT.jar"); return sc; }
其中target/sparkstat-0.0.1-SNAPSHOT.jar是maven 运行之后生成的完整的jar包
上面几步完成之后 就可以开些写属于你自己的Spark App啦
转载至:http://www.tuicool.com/articles/jyyaYnM
不通过Maven构建:
参考:http://www.cnblogs.com/key1309/p/5303557.html
相关文章推荐
- 编写Spark App,如何来配置Eclipse
- 新手如何使用eclipse编写Java(一)
- 如何配置来增加eclipse下运行java程序的jvm使用内存
- 如何使用Eclipse编写运行Java程序
- Java零基础:一步步教你如何使用eclipse创建项目及编写小程序实例
- eclipse-如何使用links目录配置插件
- Linux下使用Eclipse编写MapReduce程序的配置
- 【已经解决】如何编写弹出框(使用java)??
- 如何使用Eclipse编译C,C++,JAVA程序
- Eclipse Java EE IDE 中使用Tomcat 5X / 6X 的一些问题(配置,发布相关)
- 如何使用eclipse单独调试android系统的app
- 如何把使用命令行或者Eclipse将Java程序打包为jar文件
- 如何使用Java编写多线程程序-Java基础-Java-编程开发
- JAVA基础入门:如何使用Java编写NT服务
- java1.5新特性 静态导入 及如何在eclipse中方便使用
- 类似 java -Djavax.net.debug=SSL,handshake,data,trustmanager MyApp 如何在Eclipse下运行
- eclipse上的java编程助手软件的使用与配置
- MySQL的Java连接器在Eclipse中的配置及使用(JDBC)
- 简单使用Eclipse编写第一个Java程序
- [JAVA]使用Eclipse从下载到编写一个实例全过程