window10安装hadoop
2017-11-02 18:17
369 查看
为了方便hadoop本地测试开发,需要安装在本机。
然后将该tar.gz解压之本地目录,我的目录是:D:\IDEAProject\hadoop-2.8.2
HADOOP_HOME设置:D:\IDEAProject\hadoop-2.8.2
Path设置:%HADOOP_HOME%\bin
set JAVA_HOME=C:\Java\jdk1.8.0_102
这步有个坑,原本我的jdk目录是在D:\Program Files\Java\jdk1.8.0_102,当我这样设置 :
在CMD中进行hadoop version时总会报:Error: JAVA_HOME is incorrectly set.
解决方法是:
将原D盘中的D:\Program Files\Java\jdk1.8.0_102目录复制到我的C盘的Java目录下,然后将hadcoop-env.cmd的JAVA_HOME设置为C:\Java\jdk1.8.0_102,运行hadoop version没有报错, 解决问题
将文件hadoop.dll ; winutils.exe添加到目录D:\IDEAProject\hadoop-2.8.2\bin下
同时在 C:\Windows\System32目录下放入文件: hadoop.dll。
这几个文件分别增加以下配置。
D:\IDEAProject\hadoop-2.8.2\data\dfs\datanode
D:\IDEAProject\hadoop-2.8.2\data\dfs\namenode
hadoop/bin下执行 hdfs namenode -format
格式化成功标志有:“successfully formatted.”,“Exiting with status 0”。如果失败的话:Exiting with status 1
然后切换到hadoop-2.8.2\sbin目录下进行hadoop的启动与关闭:
成功运行后可以用两个URL去看Hadoop运行状态:
http://localhost:8088/,可以查看mapreduce任务
http://localhost:50070/ , 在utilities》Browse the file system可以查看hdfs文件
1. 解压从官网下载的binary文件
下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz然后将该tar.gz解压之本地目录,我的目录是:D:\IDEAProject\hadoop-2.8.2
2. 设置HADOOP_HOME环境变量
设置本机PC的环境变量:HADOOP_HOME设置:D:\IDEAProject\hadoop-2.8.2
Path设置:%HADOOP_HOME%\bin
3. 修改hadcoop-env.cmd文件
hadcoop-env.cmd所在目录:D:\IDEAProject\hadoop-2.8.2\etc\hadoopset JAVA_HOME=C:\Java\jdk1.8.0_102
这步有个坑,原本我的jdk目录是在D:\Program Files\Java\jdk1.8.0_102,当我这样设置 :
JAVA_HOME=D:\Program Files\Java\jdk1.8.0_102 或者 JAVA_HOME=D:\Progra~1\Java\jdk1.8.0_102
在CMD中进行hadoop version时总会报:Error: JAVA_HOME is incorrectly set.
解决方法是:
将原D盘中的D:\Program Files\Java\jdk1.8.0_102目录复制到我的C盘的Java目录下,然后将hadcoop-env.cmd的JAVA_HOME设置为C:\Java\jdk1.8.0_102,运行hadoop version没有报错, 解决问题
4.增加依赖库文件
下载地址:http://download.csdn.net/download/a327919006/9882492将文件hadoop.dll ; winutils.exe添加到目录D:\IDEAProject\hadoop-2.8.2\bin下
同时在 C:\Windows\System32目录下放入文件: hadoop.dll。
5.修改配置文件 core-site.xml; hdfs-site.xml; mapred-site.xml; yarn-site.xml
这几个配置文件所在目录:hadoop-2.8.2\etc\hadoop这几个文件分别增加以下配置。
5.1 core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
5.2 hdfs-site.xml
修改这个文件之前需要创建目录:D:\IDEAProject\hadoop-2.8.2\data\dfs\datanode
D:\IDEAProject\hadoop-2.8.2\data\dfs\namenode
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/IDEAProject/hadoop-2.8.2/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/IDEAProject/hadoop-2.8.2/data/dfs/datanode</value> </property> </configuration>
5.3 mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
5.4 yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <configuration>
6. 运行
6.1格式化HDFS
CMD中:hadoop/bin下执行 hdfs namenode -format
格式化成功标志有:“successfully formatted.”,“Exiting with status 0”。如果失败的话:Exiting with status 1
然后切换到hadoop-2.8.2\sbin目录下进行hadoop的启动与关闭:
start-dfs.cmd #先启动dfs start-yarn.cmd #再启动yarn start-all.cmd #等于上面两条命令的组合 stop-yarn.cmd stop-dfs.cmd
成功运行后可以用两个URL去看Hadoop运行状态:
http://localhost:8088/,可以查看mapreduce任务
http://localhost:50070/ , 在utilities》Browse the file system可以查看hdfs文件
相关文章推荐
- 关于在Window下安装hadoop问题总结
- hadoop相关2-window下的安装配置hadoop 基于cygwin
- Window10+QT5.5.1+Opencv2.4.13的安装
- Windows7-8-10安装部署hadoop-2.7.5(最详细的步骤,不需要cygwin)
- window10安装
- Scrapy Window10+Python3.5安装
- window 10 安装 Net Framework 3.5 报错 0x800F081F 解决
- Linux集群部署系列(六):Hadoop 在window系统下安装方法
- window 10 64位系统默认无法安装虚拟机VMware workstation报hyper-v冲突错误
- 【Windows 10 IoT - 1】Window 10系统安装(树莓派 Pi2)
- 安装双系统(Window10+Ubuntu)时,启动项设置。
- Window10+Python3.5安装opencv
- window10安装nodejs出现2503,2502错误的解决方法
- Hadoop 1.1.2分布式安装过程 (vmware10+centeros5.4 64位+hadoop1.1.2+ securecrt)
- window10安装docker时报错 hyper-v feature is not enabled
- Hadoop入门进阶课程10--HBase介绍、安装与应用案例
- vmware workstation 9/10安装window 2008 server虚拟机,找不到网卡驱动问题
- Window10下安装 mysql5.7图文教程(解压版)
- Window10安装theano keras cuda
- 将hadoop安装部署到window