Hadoop 相关命令说明

版本信息: Centos7 + Hadoop 2.7.2

以下命令在 Hadoop 集群搭建一文里会有涉及，现将相关基本命令使用方法汇总如下。

hadoop

hadoop distcp : 并行复制文件或文件夹

hadoop jar : 运行一个 jar 文件

hadoop classname : 运行一个名字为 classname 的类

hadoop fs : Hadoop 文件系统操作，同 hdfs dfs

hdfs

hdfs getconf : 获得相关配置信息

hdfs datanode : 执行关于 datanode 的操作

hdfs namenode : 执行关于 namenode 的操作，比如格式化

hdfs dfs : Hadoop文件系统操作，同 hadoop fs

hdfs dfs (同 hadoop fs)

hdfs dfs -cat/chmod/cp/ls/mkdir/mv/rm/ : 同 Centos shell 命令

hdfs dfs -copyFromLocal A B : 本地文件A复制到 HDFS 上的B

hdfs dfs -copyToLocal A B : HDFS 上的文件A复制到本地B

hdfs dfs -du : 显示文件/目录的大小

hdfs dfs -find : 使用正则表达式查找文件/目录

hdfs dfs -stat : 统计文件/目录的信息

hdfs dfs -get : 同 copyToLocal

hdfs dfs -put : 同 copyFromLocal

hdfs dfs -moveFromLocal : 类似 copyFromLocal，不过是剪切

hdfs dfs -moveToLocal : 类似 copyToLocal，不过是剪切

hdfs dfs -rmdir : 删除文件夹

hdfs dfs -tail : 显示文件最后一部分内容

mapred

mapred distcp : 并行复制文件或文件夹，同 hadoop distcp

mapred job : 与 MapReduce 的 Job 进行交互

mapred pipes : 运行一个 pipes 的 Job

yarn

yarn jar : 运行一个 jar 文件

yarn nodemanager : 执行关于 nodemanager 的操作

yarn resourcemanager : 执行关于 resoucemanager 的操作