spark开发环境搭建intellij+Scala+sbt
2017-06-15 13:42
429 查看
作为一个新手,看了网上五花八门的配置教程,表示照着他们做,花了好几天才弄好。所以现在写个博客,希望对新手有所帮助
1,Java jdk安装
2,Scala安装
3,intellij下载。我用的是community版
4,intellij安装Scala插件
5,创建一个Scala sbt工程,然后在file-》project structure-》libraries里添加jdk库,选择spark目录下的jars目录即可,这里网上都是说选择一个spark-assembly-Hadoop.jar包,实际没有。
要注意Scala版本与spark版本要匹配,否则后面提交程序后会报错,具体版本对应关系,可去看spark目录下的jars目录里的几个Scala-xx.jar。如Scala-2.11.8,则安装这个版本的Scala
这样完成以上步骤就可以了
(未完待续)
1,Java jdk安装
2,Scala安装
3,intellij下载。我用的是community版
4,intellij安装Scala插件
5,创建一个Scala sbt工程,然后在file-》project structure-》libraries里添加jdk库,选择spark目录下的jars目录即可,这里网上都是说选择一个spark-assembly-Hadoop.jar包,实际没有。
要注意Scala版本与spark版本要匹配,否则后面提交程序后会报错,具体版本对应关系,可去看spark目录下的jars目录里的几个Scala-xx.jar。如Scala-2.11.8,则安装这个版本的Scala
这样完成以上步骤就可以了
(未完待续)
相关文章推荐
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- Spark开发环境搭建(IDEA、Scala、SVN、SBT)
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程
- Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程
- Intellij IDEA开发环境搭建,scala配置及打包,jar包在spark中的运行
- Spark Scala IntelliJ IDEA开发环境搭建(入门)
- Intellij搭建spark开发环境
- Scala 深入浅出实战经典 第97讲:使用SBT开发Akka第一个案例环境搭建详解
- 【Windows】【Scala + Spark】【Eclipse】单机开发环境搭建 - 及示例程序
- windows下使用sbt搭建Scala开发环境
- spark Intellij IDEA及eclipse开发环境搭建
- 使用sbt搭建Scala开发环境的总结
- SBT+IDEA Scala开发环境搭建
- windows下使用sbt搭建Scala开发环境
- windows下使用sbt搭建Scala开发环境
- Intellij搭建spark开发环境
- 使用sbt搭建Scala开发环境的总结
- 基于linux的spark与scala开发环境搭建