Hadoop2.6.0伪分布式安装及测试笔记
2015-04-14 19:12
465 查看
一.环境准备
1.JDK
手动下载jdk并配置环境变量,可参考下文http://blog.csdn.net/microfhu/article/details/7667393
2.SSH
可以在root下配置SSH无密钥登录,可参考下文http://blog.csdn.net/budapest/article/details/8022926
二.下载安装
1.可在如下网址下载hadoop-2.6.0.tar.gzhttp://archive.apache.org/dist/hadoop/core/stable/
2.将上述压缩包直接拷贝至你想去的目录下,执行tar -zxf hadoop-2.6.0.tar.gz解压缩至当前目录下,即安装成功
三.配置环境
进入hadoop安装的根目录,然后进入/etc/hadoop,编辑里面的5个文件配置hadoop的环境,可直接用文本编辑器gedit打开1.hadoop-env.sh
在里面添加J***A_HOME的路径export J***A_HOME=/usr/lib/jvm/jdk1.7.0_75
2.core-site.xml
在文件末尾添加:<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://127.0.0.1:9000</value> </property> <property> <name>hdfs.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> </configuration>
3.mapred-site.xml
在文件末尾添加<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
4.hdfs-site.xml
在文件末尾添加<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
5.yarn-site.xml
在文件末尾添加<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resoucemanager.hostname</name> <value>localhost</value> </property> </configuration>
四.运行hadoop
1.第一次运行要格式化hadoop文件系统,命令如下hdfs namenode -format
如果执行成功,你会在日志中(倒数几行)找到如下成功的提示信息:
common.Storage: Storage directory/home/hduser/hadoop/tmp/hadoop-hduser/dfs/name has been successfully formatted.
2.运行hadoop
执行一下两条指令:
start-dfs.sh
start-yarn.sh
接下来在终端执行jps,如果看到以下5个进程则hadoop正常运行!
4688 NodeManager
4266 SecondaryNameNode
4116 DataNode
4002 NameNode
4413 ResourceManager
此外,也可以在浏览器中输入
http://localhost:50070 http://localhost:8088
能进入相应的页面,同样表示配置成功!
五.测试Hadoop
运行hadoop自带的词频统计的例子1.在hdfs虚拟文件上创建文件夹input 命令:hdfs dfs -mkdir /input
2. 上传本地文件到hdfs上命令:hdfs dfs -put /usr/local/hadoop/NOTICE.txt /input
3.执行例子,命令如下:
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples- 2.6.0.jar wordcount /input /output
注意:output是自动创建的,执行前不能存在
4.通过浏览器访问HDFS下的output文件夹,打开里面的part-r-00000文件并看到正确结果,则表示wordcount执行成功!
六.停止hadoop
stop-yarn.sh
stop-dfs.sh
可参考下文:
hadoop-2.6.0安装配置
相关文章推荐
- 【Linux学习笔记】Hadoop_安装,单机测试,伪分布式
- Hadoop2.2.0伪分布式安装及测试笔记
- Hadoop-2.6.0完全分布式集群+Zookeeper安装测试(二)
- hadoop-2.6.0伪分布式安装后启动服务及测试
- Linux CentOS下Hadoop分布式安装笔记2
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- 安装hadoop2.6.0伪分布式环境 分类: A1_HADOOP 2015-04-27 18:59 409人阅读 评论(0) 收藏
- Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop 2.6.0 安装笔记
- Hadoop(CDH)分布式集群安装笔记(亲测)
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Ubuntu14.04下安装伪分布式Hadoop-2.6.0完整步骤
- hadoop 2.6.0伪分布式模式安装
- Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop 2.6.0 完全分布式部署安装
- 安装hadoop2.6.0伪分布式环境