Hadoop2.0 简易安装

摘要: 使用交互式安装脚本,只需在主节点操作即可.
脚本自动将代码下发部署到其他远程主机,包括修改环境变量,修改相关配置,集群统一起停等.

前言

使用交互式安装脚本,只需在主节点操作即可.

脚本自动将代码下发部署到其他远程主机,包括修改环境变量,修改相关配置,集群统一起停等.

@Author duangr

@Website http://my.oschina.net/duangr/blog/181215

1.相关环境

Host Name	OS	IP
duangr-1	CentOS 64 x86_64	192.168.56.10
duangr-2	CentOS 64 x86_64	192.168.56.11
duangr-3	CentOS 64 x86_64	192.168.56.12

2.部署规划

项	值
安装用户	hadoop
Hadoop版本	hadoop-2.0.0-cdh4.5.0
安装路径	/export/home/tools/hadoop
主节点	duangr-1
从节点	duangr-2,duangr-3

3.代码获取

hadoop-2.0.0-cdh4.5.0.tar.gz

hadoop-native-2.0.0+1518-1.cdh4.5.0.p0.24.el6.x86_64.tar.gz

hadoop2-plugin-install.tar.gz

4.前提依赖

多主机之间配置好SSH密钥

关闭SELinux

5.开始安装

只需主节点安装

mkdir -p /export/home/tools/hadoop
tar -zxf  hadoop-2.0.0-cdh4.5.0.tar.gz -C /export/home/tools/hadoop
tar -zxf  hadoop-native-2.0.0+1518-1.cdh4.5.0.p0.24.el6.x86_64.tar.gz  -C /export/home/tools/hadoop/hadoop-2.0.0-cdh4.5.0/lib
tar -zxf hadoop2-plugin-install.tar.gz -C /export/home/tools/hadoop/hadoop-2.0.0-cdh4.5.0
cd /export/home/tools/hadoop/hadoop-2.0.0-cdh4.5.0/install
./install.sh          ##  根据交互提示进行输入
. ~/.bash_profile

6.基本操作

如下操作只适用于主节点

6.1 重置集群数据目录

$ hadoop-cluster.sh reset

6.2 启动hdfs集群

$ hadoop-cluster.sh dfs start

6.3 启动mapred集群

$ hadoop-cluster.sh yarn start

6.4 查看集群状态

$ hadoop-cluster.sh status

6.5 查看帮助

$ hadoop-cluster.sh
Usage: hadoop-cluster.sh [task] [task-options]

Tasks:
reset         - Reset hadoop data and Clear logs
dfs           - dfs Options (required options)
yarn          - yarn Options (required options)
status        - show hadoop status

Task [dfs] options:
start         - dfs Start
stop          - dfs Stop
status        - dfs status
Task [yarn] options:
start         - yarn Start
stop          - yarn Stop
status        - yarn status

7.相关链接

多主机SSH密钥配置

如何获取Hadoop Native Lib

关闭SELinux

hadoop