Hadoop笔记：集群的运行（版本1.2.1）

hadoop启动之初先进入安全模式，此时不允许操纵文件系统，操作会报错。

用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：

enter - 进入安全模式

leave - 强制NameNode离开安全模式

get   - 返回安全模式是否开启的信息

wait  - 等待，一直到安全模式结束

1：运行hadoop自带的单词统计程序wordcount

新建input文件夹下，新建两txt文件

root@ServerTony:/home/tony# mkdir input

root@ServerTony:/home/tony# ls

core       Downloads         hadoop-1.2.1-bin.tar.gz    Music     Templates

Desktop    examples.desktop  input                      Pictures  Videos

Documents  hadoop-1.2.1      jdk-7u51-linux-x64.tar.gz  Public

root@ServerTony:/home/tony# cd input/

root@ServerTony:/home/tony/input# echo"hello world" >test1.txt

echohello world: command not found

root@ServerTony:/home/tony/input# echo "hello world" >test1.txt

root@ServerTony:/home/tony/input# echo "hello hadoop" >test2.txt ">"为输出重定向操作符

root@ServerTony:/home/tony/input# ls

test1.txt  test2.txt

root@ServerTony:/home/tony/input# cat test1.txt 

hello world

root@ServerTony:/home/tony/input#

bin/hadoop相当于启动一个java虚拟机且附带hadoop环境

root@ServerTony:/home/tony/hadoop-1.2.1# bin/hadoop fs -ls

ls: Cannot access .: No such file or directory.

一开始hdfs下没有任何文件，添加刚才创建的input文件夹，./指向当前账户根目录

root@ServerTony:/home/tony/hadoop-1.2.1# bin/hadoop fs -put ../input ./in

root@ServerTony:/home/tony/hadoop-1.2.1# bin/hadoop fs -ls ./in/*

-rw-r--r--   1 root supergroup         12 2014-03-06 00:28 /user/root/in/test1.txt

-rw-r--r--   1 root supergroup         13 2014-03-06 00:28 /user/root/in/test2.txt

root@ServerTony:/home/tony/hadoop-1.2.1# bin/hadoop fs -cat ./in/test1.txt

hello world

跑wordcount程序，结果放到out目录下：

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount in out

查看结果如下：

root@ServerTony:/home/tony/hadoop-1.2.1# bin/hadoop fs -cat ./out/part-r-00000

hadoop  1

hello   2

world   1

2：浏览器监控集群

namenode 50070端口：http://192.168.94.128:50070/

jobtracker 50030端口：http://192.168.94.128:50030/

3：HDFS常用命令

列出HDFS下的文件：bin/hadoop fs -ls

上传文件到HDFS：bin/hadoop fs -put ../jdk.txt ./in

数据存放地方：创建的tmp文件夹

下载文件到linux：bin/hadoop fs -get ./in/jdk.txt ../jdk

删除HDFS下的文档：bin/hadoop fs -rmr ./in/jdk.txt

查看HDFS内容：bin/hadoop fs -cat ./in/jdk.txt

查看HDFS基本信息：bin/hadoop dfsadmin -report

4：增加节点

修改slaves文件，增加该节点名，设置ssh免密码登陆该节点，然后单独启动该节点上的datanode和tasktracker

datanode：bin/start-dfs.sh

运行bin/start-balancer.sh

5：创建类目录和环境变量：

hadoop-env.sh

export HADOOP_CLASSPATH=/home/tony/hadoop-1.2.1/myclass

~/.bash_profile:每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次!默认情况下,他设置一些环境变量,执行用户的.bashrc文件.

此文件类似于/etc/profile，也是需要需要重启才会生效，/etc/profile对所有用户生效，~/.bash_profile只对当前用户生效。

6：编译java代码，运行示例程序

新建java文件：vi example.java

root@ServerTony:/home/tony/hadoop-1.2.1/myclass# vi URLCat.java

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

import org.apache.hadoop.io.IOUtils;

import java.io.InputStream;

import java.net.URL;

public class URLCat {

static {

URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

}

public static void main(String[] args) throws Exception {

InputStream in = null;

try {

in = new URL(args[0]).openStream();

IOUtils.copyBytes(in, System.out, 4096,false);

} finally {

IOUtils.closeStream(in);

}

}

}

编译：javac -classpath ../hadoop-core-1.2.1.jar URLCat.java

用hadoop运行示例程序：bin/hadoop URLCat hdfs://ServerTony:9000/user/root/in/test1.txt

输出test.txt内容到屏幕

7：使用ant编译工程

下载ant并解压

下载cookbook书附源码包：http://www.packtpub.com/code_download/11101

设置HADOOP_HOME环境变量

export HADOOP_HOME=/home/tony/hadoop-1.2.1（也可在profile里面设置）

掌握build.xml编译配置文件的写法，本次编译chapter2下的demo程序，命令如下：

root@ServerTony:/home/tony/hadoop-1.2.1/7287OS_Code/chapter2/HDFS_Java_API# /home/tony/apache-ant-1.9.3/bin/ant

运行编译生成的jar：

root@ServerTony:/home/tony/hadoop-1.2.1/7287OS_Code/chapter2/HDFS_Java_API# /home/tony/hadoop-1.2.1/bin/hadoop jar HDFSJavaAPI.jar  HDFSJavaAPIDemo

Warning: $HADOOP_HOME is deprecated.

hdfs://ServerTony:9000

Welcome to HDFS Java API!!!

root@ServerTony:/home/tony/hadoop-1.2.1/7287OS_Code/chapter2/HDFS_Java_API# 

注：若想去掉上述Warning，可在/etc/profile中添加：export HADOOP_HOME_WARN_SUPPRESS=1