Hadoop学习笔记（二）--添加data节点和实现远程挂载HDFS

一、添加新的datanode节点

修改namenode服务器的上hadoop的配置文件slave，在该文件中添加新加入集群的
服务器名称（hostname），并添加在/etc/hosts文件中添加对应的解析项，内容如下：

[root@namenode~]# cat /etc/hosts

127.0.0.1       localhost.localdomain   localhost

::1             namenode        localhost6.localdomain6 localhost6

192.168.2.9     namenode

192.168.5.55    nagios-server

192.168.2.4     datanode

修改完成后，将整个hadoop文件的目录和JDK目录复制到新节点（这里是datanode，一下都用datanode来表示）。

[root@namenode ~]# scp –pr /opt/hadoop 192.168.2.4:/opt/hadoop
[root@namenode ~]# scp –pr /usr/java 192.168.2.4:/usr/java

修改datanode上面的/etc/hosts文件，如下：

[root@datanode ~]# cat /etc/hosts

127.0.0.1        localhost.localdomain   localhost

::1              datanode        localhost6.localdomain6 localhost6

192.168.2.9      namenode

192.168.5.55     nagios-server

192.168.2.4      datanode

配置datanode服务器的环境变量，为了方便这里写入/etc/profile文件（也可以写到对应用户的/home/USER/.bash_profile或者/root/.bash_profile文件中），添加的内容如下：

export OS_ARCH=amd64
export OS_BIT=64
export JAVA_HOME=/usr/java/jdk1.6.0_14
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export ANT_HOME=/usr/local/ant
export PATH=$JAVA_HOME/bin:$PATH
export ZOOKEEPER_INSTALL=/opt/hadoop/zookeeper
export PATH=$PATH:$ZOOKEEPER_INSTALL/bin
export HADOOP_HOME=/opt/hadoop/hadoop
export HADOOP_INSTALL=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export LANG=zh_CN.GBK
export HIVE_HOME=/opt/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH:$ANT_HOME/bin
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:${HADOOP_HOME}/c++/Linux-$OS_ARCH-$OS_BIT/lib:/usr/local/lib:/usr/lib

完成上述操作后，启动datanode服务器上的HDFS

[root@datanode ~]#start-dfs.sh

启动后该节点会自动加入之前的hadoop集群。

二、WebDav
挂载WebDav提供的网络存储，需要安装三个包，分别是：fuse、neon和davfs2
1、 编译安装fuse

[root@datanode src]# tar fvxz fuse-2.8.5.tar.gz
[root@datanode src]# cd fuse-2.8.5
[root@datanode fuse-2.8.5]# ./configure

如果编译完成后不确定是否正常编译，可以用命令echo $?来获取返回值确认，0表示正常，其它均表示有错误。

[root@datanode fuse-2.8.5]# make && make install

2、编译安装neon

[root@datanode src]# tar fvxz neon-0.29.6.tar.gz
[root@datanode src]# cd neon-0.29.6
[root@datanode neon-0.29.6]# ./configure
[root@datanode neon-0.29.6]# make && make install

3、编译安装davfs2

[root@datanode src]# tar fvxz davfs2-1.4.6.tar.gz
[root@datanode src]# cd davfs2-1.4.6
[root@datanode davfs2-1.4.6]# ./configure
[root@datanode davfs2-1.4.6]# make && make install

4、挂载webdav
挂载hdfs需要使用命令mount.davfs，而使用该命令需要davfs2用户，所以先创建该用户：

[root@datanode~]# useradd davfs2

之后开始挂载：

[root@datanode ~]# mount.davfs http://192.168.2.9:8080/hdfs-webdav /hdfs
Please enter the username to authenticate with server http://192.168.2.9:8080/hdfs-webdav or hit enter for none.
Username: davfs2
Please enter the password to authenticate user davfs2 with server http://192.168.2.9:8080/hdfs-webdav or hit enter for none.
Password:

完成后就可以进入挂载点查看了。祝大家成功

Hadoop学习笔记（一）