Hadoop2.5.1伪分布式安装记录,Centos6.4系统,wordcount运行测试
2014-09-27 14:37
806 查看
一、准备工作(root用户)
1.关闭防火墙
关闭防火墙:service iptables stop 关闭开机启动:chkconfig iptablesoff
2.创建用户
创建hadoop用户:useradd hadoop 密码:passwd hadoop 加入sudoers:vim /etc/sudoers ,在root下一行写入hadoop ALL=(ALL) ALL
二、安装JDK1.7(root用户)
1.查看已装JDK
rpm -qa |grep java rpm -qa |grep jdk
2.卸载上一步显示的程序
rpm -e --nodeps 程序名 (如:rpm -e --nodeps tzdata-java-2013g-1.el6.noarch rpm -e --nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64)
2.安装JDK1.7
tar -zxf jdk-7u60-linux-x64.tar.gz 直接解压到/home/hadoop(username)/目录下 并且更改文件名字为java1.7
3.修改环境变量
修改 /etc/profile文件,在文件末尾加入以下几行: exportJ***A_HOME=/home/hadoop/java1.7 exportJRE_HOME=/home/hadoop/java1.7/jre exportPATH=$J***A_HOME/bin:$JRE_HOME/bin:$PATH exportCLASSPATH=.:$J***A_HOME/lib/dt.jar:$J***A_HOME/lib/tools.jar
4.使刚修改的环境变量生效
source /etc/profile
5.验证JDK是否安装成功
java -version echo $J***A_HOME
三、SSH无密码登录(hadoop用户)
1.生成密钥
ssh-keygen -t dsa (然后一直按回车即可,会自动生成.ssh文件夹,内有两个文件)
2.生成authorized_keys
进入/home/hadoop/.ssh目录 cat id_dsa.pub >> authorized_keys
3.给authorized_keys赋予执行权限
chmod 600authorized_keys
3.测试是否能够无密码登录本地
ssh localhost 如果不用再次输入密码,说明成功
四、安装hadoop(hadoop用户)
1.解压到指定目录(以在/home/hadoop目录为例)
tar -zxvf hadoop-2.5.1.tar.gz
2.配置文件
2.1.core-site.xml文件
在<configuration>和</configuration>之间加入如下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoopfile/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
</configuration>
2.2.hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
2.3.mapred-site.xml文件:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.4.文件yarn-site.xml:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.5.mapred-env.sh文件
export J***A_HOME=/home/hadoop/java1.7
export HADOOP_MAPRED_PID_DIR=/home/hadoop/hadoopfile/tmp
2.6.hadoop-env.sh文件
export J***A_HOME=/home/hadoop/java1.7
exportHADOOP_PID_DIR=/home/hadoop/hadoopfile/tmp
exportHADOOP_SECURE_DN_PID_DIR=/home/hadoop/hadoopfile/tmp
3.将hadoop加入环境变量
sudovim /etc/profile 加入如下两行 exportHADOOP_HOME=/home/hadoop/hadoop-2.5.1 exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
五、启动(hadoop用户)
1.格式化namenode
hdfsnamenode -format
2.启动dfs
Start-dfs.sh或者
hadoop-daemon.shstart namenode hadoop-daemon.shstart datanode
通过jps能够验证是否启动成功
3.启动yarn
start-yarn.sh 输入jps验证
3.在网页端查看
输入IP:50070(例如:http://192.168.56.103:50070/)
六、运行wordcount例子(hadoop用户)
Wordcount例子在/home/hadoop/hadoop-2.5.1/share/hadoop/mapreduce中的hadoop-mapreduce-examples-2.5.1.jar
1.上传本地文件至hdfs
hadoop fs -put 文件 /test (如:hadoop fs -put 1 /test是将本地的文件1上传至hdfs中的/test目录下)
2.运行
hadoopjar hadoop-mapreduce-examples-2.5.1.jar wordcount /test/1 /test/output/1
注意:/test/output/1必须是不存在的目录
</pre><h2>1.查看结果</h2><p align="left"></p><pre name="code" class="html">hadoopfs -cat /test/output/1/part-r-00000
相关文章推荐
- Hadoop2.5.1伪分布式安装记录,Centos6.4系统,wordcount运行测试
- Hadoop:Centos6.5(64bit)Hadoop2.5.1伪分布式安装记录
- 大数据之Hadoop平台(二)Centos6.5(64bit)Hadoop2.5.1伪分布式安装记录,wordcount运行测试
- 大数据之Hadoop平台(二)Centos6.5(64bit)Hadoop2.5.1伪分布式安装记录,wordcount运行测试
- Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0(转)
- 完全分布式hadoop2.5.0安装 VMware下虚拟机centos6.4安装1主两从hadoop
- Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
- 在CentOS6.4 下以单机伪分布式模式安装hadoop2.7.1
- WMware 中CentOS系统Hadoop 分布式环境搭建(一)——Hadoop安装环境准备
- Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
- centos6.8系统安装 Hadoop 2.7.3伪分布式集群
- 【总大纲】Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0踩过的坑
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop-1.Centos6.4安装伪分布式Hadoop
- centos6.4设备hadoop-2.5.1(完全分布式)