spark在eclipse上配置
2015-06-22 10:40
519 查看
环境:spark1.4.0,hadoop2.6.0
1.安装好jdk
2.在spark的conf目录下找到spark-env.sh.template,打开,在后面加上
3.在eclipse的help->install new sofware上安装好scala插件
地址为:http://download.scala-ide.org/sdk/e38/scala29/stable/site
4.使用Scala语言来开发spark程序
3.1 在eclipse中,依次选择“File” –>“New” –> “Other…” –> “Scala Wizard” –> “Scala Project”,创建一个Scala工程,命名
3.2 右击“SaprkScala”工程,选择“Properties”,在弹出的框中,按照下图所示,依次选择“Java Build Path” –>“Libraties” –>“Add External JARs…”,加入spark的lib目录下的spark-assembly-1.4.0-hadoop2.6.0.jar
1.安装好jdk
2.在spark的conf目录下找到spark-env.sh.template,打开,在后面加上
export SCALA_HOME=/home/jiahong/scala-2.11.6 export JAVA_HOME=/home/jiahong/jdk1.8.0_45 export HADOOP_CONF_DIR=/home/jiahong/hadoop-2.6.0/etc/hadoop
3.在eclipse的help->install new sofware上安装好scala插件
地址为:http://download.scala-ide.org/sdk/e38/scala29/stable/site
4.使用Scala语言来开发spark程序
3.1 在eclipse中,依次选择“File” –>“New” –> “Other…” –> “Scala Wizard” –> “Scala Project”,创建一个Scala工程,命名
3.2 右击“SaprkScala”工程,选择“Properties”,在弹出的框中,按照下图所示,依次选择“Java Build Path” –>“Libraties” –>“Add External JARs…”,加入spark的lib目录下的spark-assembly-1.4.0-hadoop2.6.0.jar
相关文章推荐
- Eclipse用户使用IntelliJ IDEA的常见问答
- Java实现验证码简单示例
- java内存分配 常量池
- parameter passing in Java demo
- struts2中使用JSTL读取action中的变量注意事项
- Java--Reflect(反射)专题5——方法反射的基本操作
- java操作mysql数据库
- array in Java
- input demo in Java
- Java知多少(100)图像处理基础
- Arrays数组。。
- Java--Reflect(反射)专题4——获取成员变量以及构造函数信息
- Struts2返回JSON数据的具体应用范例
- BigDecimal练习。。
- DecimalFormat练习。。
- 【面试】【Spring常见问题总结】【01】
- Spring Boot - fish
- 史上最全最强SpringMVC详细示例实战教程
- java 锁机制
- java中HashMap的遍历