在SuSE集群上安装配置HDFS

公告：

技术盛宴SD2.0大会隆重开幕,现场图文直播，敬请关注！

[意见反馈]
[官方博客]

在SuSE集群上安装配置HDFS
收藏

1

、环境准备

需要环境：

PC-1
Suse Linux 9
10.192.1.1

PC-2
Suse Linux 9
10.192.1.2

PC-3
Suse Linux 9
10.192.1.3

PC-4
Suse Linux 9
10.192.1.4

其中，
PC-1

做
namenode

节点，
PC-2

、
PC-3

和
PC-4

做
datanode

节点。

2

、安装包准备

需要安装包：

jdk-6u16-linux-i586-rpm.bin

hadoop-0.20.1.tar.gz

（
stable

版本）

3

、安装步骤

3.1

操作系统配置



（
1

）新建用户。在
HDFS

文件系统中的每个节点（包括
namenode

节点和
datanode

节点）上，新建
hdfs

用户，并保证
hdfs

用户的当前目录一致。

（
2

）
HDFS

中的节点配置

在
root

用户中输入命令
yast

，使用
yast

工具。
Network Devices

—
>Network Card

—
>Already configured devices

—
>Change

—
>Edit

—
>Host name and name server

。

1

，
namenode

节点。
hostname

修改为“
namenode

”，
domian name

修改为“
hdfs

”；

2

，
datanode

节点。
hostname

修改为“
datanodeXXX

”，
domian name

修改为“
hdfs

”，其中“
XXX

”最好为该节点
IP

地址中的第四个数字。

（
3

）
HDFS

中的节点添加通讯对方主机名

1

，
namenode

节点。在
/etc/hosts/

文件中添加所有
datanode

节点的
IP/Hostname

对，如

10.129.126.205 datanode205.hdfs datanode205

2

，
datanode

节点。在所有
datanode

节点中的
/etc/hosts/

文件中添加所有
namenode

节点的
IP/Hostname

对，如
10.129.126.203
namenode.hdfs namenode

（
4

）
Windows

访问端配置

a)

参照
namenode

节点中的
hosts

文件的配置，在
windows

的
hosts

文件中添加
namenode

节点和
datanoe

节点的
IP/Hostname

对。

b)

在
IE

浏览器不使用代理列表中，添加“
*.hdfs

”。

3.2

安装

JDK



Hadoop

是基于
JDK1.6

编写的，为了运行
HDFS

文件系统，同时也为了后续的开发，需要安装
JDK1.6

。

（
1

）切换到
root

用户，并将安装包拷贝至
/usr/local/

目录，
chmod 755

使
root

用户获得执行安装包的权限。

（
2

）执行
sh jdk-6u16-linux-i586-rpm.bin

开始安装，接下来出现安装协议阅读界面。按“
q

”退出阅读，接着输入“
y

”表示统一安装协议，开始安装直到结束。

（
3

）配置
JAVA

环境在
/etc/profile

文件尾添加三项
：

export JAVA_HOME=/usr/java/jdk1.6.0_16

export CLASSPATH=/usr/java/jdk1.6.0_16/lib:/usr/java/jdk1.6.0_16/jre/lib:$CLASSPATH

export PATH=/usr/java/jdk1.6.0_16/bin:/usr/java/jdk1.6.0_16/jre/bin:$PATH

在
root

用户中，
chmod 755 /etc/profile

，使普通用户获得对该文件的执行权限。在
hdfs

的登录会话中，执行“
. /etc/profile

”（

“
.

”与“
/

”之间有空格）使修改生效，使用
echo

命令确认这三项设置是否成功。

3.3

配置

SSH

服务



在
namenode

节点，使用
ssh

工具生成公钥
/

私钥对，并把公钥分发给
datanode

节点，可以实现
datanode

对来自
namenode

节点网络通讯请求的认证。

首先，在

namenode

节点生成公钥

/

私钥对

：

（
1

）在
/home/hdfs/

目录下新建“
.ssh

”目录。

（
2

）使用
DSA

算法生成公钥
/

私钥对。

$ssh-keygen -t dsa –P ’’

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hdfs/.ssh/id_rsa):

按回车

Enter passphrase (empty for no passphrase):

输入
hdfs

登录密码

Enter same passphrase again:

再次输入
hdfs

登录密码

Your identification has been saved in /home/hdfs/.ssh/id_rsa.

Your public key has been saved in /home/hdfs/.ssh/id_rsa.pub.

The key fingerprint is:

9a
:4f:a0:82:1d:f9:e3:31:17:46:b2:25:15:1a:52:56 hdfs@namenode

注：其中
id_dsa

存放了产生的私钥，
id_dsa.pub

存放了公钥。

接着，分发

namenode

节点的公钥

将
namenode

节点
id_rsa.pub

文件中的内容复制到所有节点的
/home/h/.ssh/authorized_keys

文件中。

（
1

）
namenode

节点。

1

，
authorized_keys

不存在。执行命令
cp id_rsa.pub authorized_keys

。

1

，
authorized_keys

存在。执行命令
cat
id_rsa.pub >> authorized_keys

。

（
2

）
datanode

节点。

在
namenode

节点中，对每一台
datanode

节点，执行命令
scp id_dsa.pub datanode205:/home/hdfs/.ssh/

。在
datanode

节点，仿照
namenode

节点的处理方法，将
namenode

节点的公钥拷贝到
authorized_keys

文件中。

（
3

）
ssh

验证。

在
namenode

节点执行
ssh datanode205.

，如果能不输入密码能登录到
datanode205

，则说明安装成功。

3.4

安装

Hadoop



在

namenode

节点

中，将
hadoop-0.20.1.tar.gz

，解压到
/home/hdfs/

目录下即可。

4

、配置说明

4.1 namenode

节点配置



在
namenode

节点的
conf

目录下。

（
1

）
core-site.xml

文件配置。

配置临时文件夹目录。

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hdfs/hadoop-datastore/hadoop-${user.name}</value>

<description>A base for other temporary directories.</description>

</property>

配置
HDFS

文件系统外部访问地址，即
namenode

节点
IP

以及访问端口号。

<property>

<name>fs.default.name</name>

<value>hdfs://10.129.126.203:54310</value>

</property>

（
2

）
hdfs-site.xml

文件配置。

配置上传文件备份的份数，不能超过
datanode

节点个数，默认为
3

个。

<name>dfs.replication</name>

<value>3</value>

<description>Default block replication.

The actual number of replications can be specified when the file is created.

The default is used if replication is not specified in create time.

</description>

</property>

（
3

）
masters

文件配置。

添加
namenode

节点在主机名“
namenode

”。

（
4

）
slaves

文件配置。

添加所有
datanode

节点的主机名，每行配置一个。

datanode203

datanode204

datanode205

4.2 datanode

节点配置



在
namenode

节点，执行命令
scp -r hadoop-0.20.1/ datanode205:/home/hdfs/

，将
namenode

节点的安装文件复制到每一个
datanode

节点。