hadoop基本操作命令小结

eclipse hadoop开发环境配置已经搞定，接下来就是开发hadoop程序了。但在这之前熟悉下hadoop的基本操作命令非常有必要，以下就先简单的小结下：

启动和关闭Hadoop

启动Hadoop

1.进入HADOOP_HOME目录。

2.执行bin/start-all.sh

关闭Hadoop

1.进入HADOOP_HOME目录。

2.执行bin/stop-all.sh

HDFS文件文件系统操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统

类似。并且支持通配符，如*。

查看文件列表

查看hdfs中/user/hadoop目录下的文件和目录。

1.进入HADOOP_HOME目录。

2.执行bin/hadoop fs -ls /user/hadoop

列出hdfs中/user/hadoop目录下的所有文件（包括子目录下的文件）。

1.进入HADOOP_HOME目录。

2.执行sh bin/hadoop fs -lsr /user/hadoop

创建文件目录

查看hdfs中/user/hadoop目录下再新建一个叫做newDir的新目录。

1.进入HADOOP_HOME目录。

2.执行bin/hadoop fs -mkdir /user/hadoop/newDir

删除文件

删除hdfs中/user/hadoop目录下一个名叫needDelete的文件

1.进入HADOOP_HOME目录。

2.执行sh bin/hadoop fs -rm /user/hadoop/needDelete

删除hdfs中/user/hadoop目录以及该目录下的所有文件

1.进入HADOOP_HOME目录。

2.执行sh bin/hadoop fs -rmr /user/hadoop

上传文件

上传一个本机/home/hadoop/newFile的文件到hdfs中/user/hadoop目录下

1.进入HADOOP_HOME目录。

2.执行bin/hadoop fs –put /home/hadoop/newFile /user/hadoop

下载文件

下载hdfs中/user/hadoop目录下的newFile文件到本机/home/hadoop/newFile中

1.进入HADOOP_HOME目录。

2.执行bin/hadoop fs –get /user/hadoop/newFile /home/hadoop/newFile

查看文件内容

查看hdfs中/user/hadoop目录下的newFile文件

1.进入HADOOP_HOME目录。

2.执行bin/hadoop fs –cat /home/admin/newFile

MapReduce Job操作

提交MapReduce Job

原则上说，Hadoop所有的MapReduce Job都是一个jar包。

运行一个/home/hadoop/ hadoop-0.20.2/job.jar的MapReduce Job

1.进入HADOOP_HOME目录。

2.执行bin/hadoop jar job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的JOB 假设Job_Id为: job_201112161201_0069

1.进入HADOOP_HOME目录。

2.执行sh bin/hadoop job -kill job_201112161201_0069

更多Hadoop的命令

上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多，可以按照如下的方式获取命令的说明信息。

1.进入HADOOP_HOME目录。

2.执行bin/hadoop

可以看到更多命令的说明信息