centOS下单机配置hadoop攻略
2013-10-09 09:15
387 查看
原文地址:centOS下单机配置hadoop攻略作者:两个屏幕爽啊花了两天时间来配置hadoop,繁琐的是版本不兼容及不知名错误。好在本组有位很有经验很nice的同事来帮助我,因此花了不算太久就能装好并测试完毕了。
以下是配置攻略,希望对其他配置hadoop的朋友有所帮助。
本机环境: centOS
一、安装jdk
Jdk版本:jdk-6u30-linux-amd64.rpm
1.安装命令:rpm –ivh
jdk-6u30-linux-amd64.rpm
2.在etc/profile里面添加声明如下:
export JAVA_HOME=/usr/java/default
export
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
3.退出后,source
/etc/profile使得配置生效
二、安装hadoop
hadoop版本:hadoop-1.0.3-1.x86_64.rpm
1.安装命令:rpm –ivh
hadoop-1.0.3-1.x86_64.rpm
2.在etc/hadoop文件夹下
对以下几个文件进行设置
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
三、设置SSH
ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa
cat
~/.ssh/id_dsa.pub >>
~/.ssh/authorized_keys
四、启动hadoop
hadoop namenode –format
start-all.sh
此时通过浏览器即可浏览到namenode和jobtracker
五、测试
将两个本地的文件拷贝到hdfs上,调用hadoop示例程序wordcount对其进行单词统计。
echo “hello,world” >file01
echo “hello,hadoop” >file02
hadoop fs –mkdir input
hadoop fs –copyFromLocal /home/hao/file0* input
hadoop jar /usr/share/hadoop/hadoop-examples-1.0.3.jar
wordcount input output
hadoop fs –cat user/root/output/part-r-00000
出现问题及解决方法:
1.jdk及hadoop的安装必须与本机环境相适应,比如,本机为centOS,则安装软件必须选择rpm格式,为与本机及服务器相兼容,jdk必须选择64位或者x86_64
2.安装完毕后,在
etc/profile里面设置JAVA_HOME最好设置为usr/java/default,这是一个symbol
link,可以避免因JAVA环境变量变化而引起的错误。
3.安装完毕后在/etc/hadoop里面设置hadoop-site.xml等文件
4.以上步骤都完成后,将本地文件拷贝至HDFS上,此时应使用
hadoop
fs –lsr /
来查看hdfs的文件夹内容,以确定不会读错文件。
以下是配置攻略,希望对其他配置hadoop的朋友有所帮助。
本机环境: centOS
一、安装jdk
Jdk版本:jdk-6u30-linux-amd64.rpm
1.安装命令:rpm –ivh
jdk-6u30-linux-amd64.rpm
2.在etc/profile里面添加声明如下:
export JAVA_HOME=/usr/java/default
export
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
3.退出后,source
/etc/profile使得配置生效
二、安装hadoop
hadoop版本:hadoop-1.0.3-1.x86_64.rpm
1.安装命令:rpm –ivh
hadoop-1.0.3-1.x86_64.rpm
2.在etc/hadoop文件夹下
对以下几个文件进行设置
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
三、设置SSH
ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa
cat
~/.ssh/id_dsa.pub >>
~/.ssh/authorized_keys
四、启动hadoop
hadoop namenode –format
start-all.sh
此时通过浏览器即可浏览到namenode和jobtracker
五、测试
将两个本地的文件拷贝到hdfs上,调用hadoop示例程序wordcount对其进行单词统计。
echo “hello,world” >file01
echo “hello,hadoop” >file02
hadoop fs –mkdir input
hadoop fs –copyFromLocal /home/hao/file0* input
hadoop jar /usr/share/hadoop/hadoop-examples-1.0.3.jar
wordcount input output
hadoop fs –cat user/root/output/part-r-00000
出现问题及解决方法:
1.jdk及hadoop的安装必须与本机环境相适应,比如,本机为centOS,则安装软件必须选择rpm格式,为与本机及服务器相兼容,jdk必须选择64位或者x86_64
2.安装完毕后,在
etc/profile里面设置JAVA_HOME最好设置为usr/java/default,这是一个symbol
link,可以避免因JAVA环境变量变化而引起的错误。
3.安装完毕后在/etc/hadoop里面设置hadoop-site.xml等文件
4.以上步骤都完成后,将本地文件拷贝至HDFS上,此时应使用
hadoop
fs –lsr /
来查看hdfs的文件夹内容,以确定不会读错文件。
相关文章推荐
- centOS下单机配置hadoop攻略
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- CentOS系统下单机版Hadoop环境配置(CentOS 7)
- CentOS中Hadoop单机伪分布式配置
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop单机/伪分布式配置(Centos7/hadoop2.6)
- centos下搭建单机和伪分布式hadoop环境-(3)配置hadoop的伪分布式模式
- Centos7.0配置Hadoop2.6.3单机/伪分布式环境
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- 【Hadoop入门】Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- hadoop在CentOS下的单机配置
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0(转)
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Centos7下Hadoop的配置(单机,伪分布式和集群)
- CentOS6.4之图解配置Hadoop1.2单机伪分布式
- 在CentOS上单机配置hadoop
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0