Windows 上使用Intellij DEAR14 搭建Spark14编程环境总结
2015-09-12 17:26
405 查看
1.下载安装Scala2.10.5
2.下载安装Intellij DEAR14
3.下载安装scala-intellij-bin-1.5.2(Scala插件),当然网速好的话,可以使用Intellij DEAR14安装Scala插件
这里我们使用手动下载,下载完成后,解压到Intellij IDEA 安装目录中的plugins里面去
4.下载spark-1.4.0-bin-hadoop2.6.tgz,将lib下的spark-assembly-1.4.1-hadoop2.6.0.jar,配置到依赖包中
5.下载 hadoop-2.6.0.tar.gz ,解压后,设置环境变量,在path中添加路径,%HADOOP_HOME%\bin\
6.下载winutils.exe,将winutils.exe拷贝到hadoop根目录的bin目录下,下载地址:http://files.cnblogs.com/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip
到这里大家注意一下,若是没有步骤5和6的话,spark本地运行时会出现“ERROR Shell: Failed to locate the winutils binary in the hadoop binary path...."这样的错误,spark-1.4.0-bin-hadoop2.6.tgz这个版本会出现这种错误的,低版本的不需要步骤5和6,当然也不会出现我说的这样的错误的。
7.下面就是建立项目编程了,我就不多说了
2.下载安装Intellij DEAR14
3.下载安装scala-intellij-bin-1.5.2(Scala插件),当然网速好的话,可以使用Intellij DEAR14安装Scala插件
这里我们使用手动下载,下载完成后,解压到Intellij IDEA 安装目录中的plugins里面去
4.下载spark-1.4.0-bin-hadoop2.6.tgz,将lib下的spark-assembly-1.4.1-hadoop2.6.0.jar,配置到依赖包中
5.下载 hadoop-2.6.0.tar.gz ,解压后,设置环境变量,在path中添加路径,%HADOOP_HOME%\bin\
6.下载winutils.exe,将winutils.exe拷贝到hadoop根目录的bin目录下,下载地址:http://files.cnblogs.com/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip
到这里大家注意一下,若是没有步骤5和6的话,spark本地运行时会出现“ERROR Shell: Failed to locate the winutils binary in the hadoop binary path...."这样的错误,spark-1.4.0-bin-hadoop2.6.tgz这个版本会出现这种错误的,低版本的不需要步骤5和6,当然也不会出现我说的这样的错误的。
7.下面就是建立项目编程了,我就不多说了
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- Windows下Scala环境搭建
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- Windows7下安装Scala 2.9.2教程
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- java结合HADOOP集群文件上传下载
- 用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试