hadoop学习笔记-2-安装

环境

Windows XP + VMWare WorkStation7.1 +centos6虚拟机 + JDK1.7 + Hadoop0.20.2

centos安装JDK1.7（如果使用centos自带的jdk，忽略这一步）

1. 在oracle官方网站下载最新的jdk1.7的i586的rpm包

2. 双击rpm包运行，需要root授权，即可安装成功，也可使用命令行：rpm –ivh ***

3. 卸载centos自带的openjdk，我使用的centos6.3自带了1.5和1.6两个版本，使用命令：

rpm -qa|grep gcj

查看版本号，然后使用root权限用户删除其中的jdk为1.5的，具体与centos自带的版本有关：

yum -y remove java java-1.X.Y-gcj-compat-1.X.Y.0-40jpp.115

使用命令：

rpm –qa | grep jdk

再使用上面的命令删除jdk1.6自带的

yum -y remove java java-1.X.Y-gcj-compat-1.X.Y.0-40jpp.115

4. 编辑/etc/profile文件，末尾添加环境变量（中间是冒号，classpath中开头为逗点和冒号）：

export J***A_HOME=/usr/java/jdk1.6.0_21

export PATH=$J***A_HOME/bin:$PATH

export CLASSPATH=.:$J***A_HOME/lib/dt.jar:$J***A_HOME/lib/tools.jar

5. 重启操作系统：reboot

6. 执行java –version，可以看到已经是最新的jdk1.7了

安装Hadoop0.20.2

1. 按照教材要求，安装Hadoop0.20.2，官网下载Hadoop0.20.2

2. 解压到指定目录：tar –zxvf hadoop-x.y.z.tar.gz -C /usr

3. 编辑/etc/profile文件，末尾继续添加，设置环境变量：

export HADOOP_INSTALL=/usr/hadoop-0.20.2

export PATH=$PATH:$HADOOP_INSTALL/bin

4. 重启操作系统：reboot，执行hadoop version，正常显示即安装成功



提示

1) 安装hadoop0.20.2需要指定环境变量：J***A_HOME，所以如果使用centos自带的openjdk，需要指定添加J***A_HOME环境变量，如：export J***A_HOME=/usr/lib/jvm/jvm-6**

2) 查看设定的环境变量的值，可使用echo命令，如：[user@localhost ~]# echo $J***A_HOME

安装伪分布Hadoop模式

1. 进入hadoop根目录（例如：cd/usr/hadoop-x.y.z），进入config目录，编辑其中的配置文件：core-site.xml（配置hdfs所在的机器，即namenode），hdfs-site.xml（配置复制策略），mapred-site.xml（配置job所在的机器，即jobtracker），

2. 伪分布不是真正的分布式，所以这些都为本机地址：

<!—core-site.xml-->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost</value>

</property>

<configuration>



<!—hdfs-site.xml-->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<configuration>



<!—mapred-site.xml-->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:8021</value>

</property>

<configuration>



3. 按照下面centos设置ssh免密码登录设置ssh

4. 格式化namenode，执行hadoop namenode -format

5. 启动进程：

start-dfs.sh

start-mapred.sh

6. 验证是否正常启动。访问jobtracker：http://localhost:50030，访问namenode：http://localhost:50070，如果都能访问，说明正常启动了。

7. 关闭进程：

stop-dfs.sh

stop-mapred.sh



提示：

1. 如果不能正常运行，提示J***A_HOME没有找到路径，则需要编辑在conf/hadoop-env.sh中指明J***A_HOME的路径。

2. 如果还是不能运行，或者能访问50030不能访问50070，则说明namenode没有正常启动，重新格式化一次，重新启动试试：hadoop namenode -format

centos设置ssh免密码登录

1. 切换root用户，创建密码为空的RSA密钥，执行：

ssh-keygen -trsa –P ‘’ –f ~/.ssh/id_rsa

2. 将公钥添加到authorized_keys中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. 编辑sshd配置文件，在etc/ssh/sshd_config中，将其中的

#AuthorizedKeysFile .ssh/authorized_keys 前面的注释取消掉

4. 设置开机启动sshd服务，运行：chkconfig sshd on

5. 重启sshd服务：service sshd restart

6. 登录本机ssh试试：ssh localhost



提示：

1. Linux机器需要安装ssh，centos默认安装自带了ssh

2. 第三步是centos特别需要注意的，否则提示connect refuse错误