您的位置:首页 > 编程语言

Windows 上使用Intellij DEAR14 搭建Spark14编程环境总结

2015-09-12 17:26 405 查看
1.下载安装Scala2.10.5

2.下载安装Intellij DEAR14

3.下载安装scala-intellij-bin-1.5.2(Scala插件),当然网速好的话,可以使用Intellij DEAR14安装Scala插件

这里我们使用手动下载,下载完成后,解压到Intellij IDEA 安装目录中的plugins里面去

4.下载spark-1.4.0-bin-hadoop2.6.tgz,将lib下的spark-assembly-1.4.1-hadoop2.6.0.jar,配置到依赖包中

5.下载 hadoop-2.6.0.tar.gz ,解压后,设置环境变量,在path中添加路径,%HADOOP_HOME%\bin\

6.下载winutils.exe,将winutils.exe拷贝到hadoop根目录的bin目录下,下载地址:http://files.cnblogs.com/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip

到这里大家注意一下,若是没有步骤5和6的话,spark本地运行时会出现“ERROR Shell: Failed to locate the winutils binary in the hadoop binary path...."这样的错误,spark-1.4.0-bin-hadoop2.6.tgz这个版本会出现这种错误的,低版本的不需要步骤5和6,当然也不会出现我说的这样的错误的。

7.下面就是建立项目编程了,我就不多说了
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息