您的位置:首页 > 大数据 > 云计算

spark开发环境搭建intellij+Scala+sbt

2017-06-15 13:42 429 查看
作为一个新手,看了网上五花八门的配置教程,表示照着他们做,花了好几天才弄好。所以现在写个博客,希望对新手有所帮助

1,Java jdk安装

2,Scala安装

3,intellij下载。我用的是community版

4,intellij安装Scala插件

5,创建一个Scala sbt工程,然后在file-》project structure-》libraries里添加jdk库,选择spark目录下的jars目录即可,这里网上都是说选择一个spark-assembly-Hadoop.jar包,实际没有。

要注意Scala版本与spark版本要匹配,否则后面提交程序后会报错,具体版本对应关系,可去看spark目录下的jars目录里的几个Scala-xx.jar。如Scala-2.11.8,则安装这个版本的Scala

这样完成以上步骤就可以了

(未完待续)
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  云计算 spark intellij