HDFS Shell 命令

hadoop fs [GENERIC_OPTIONS][COMMAND_OPTIONS]

1. 将本地文件上传到HDFS上

bin/hadoop fs -copyFromLocal /local/data/hdfs/data

bin/hadoop fs –put /local/data /hdfs/data

2. 将HDFS上的文件传到本地文件

bin/hadoop fs -copyToLocal/hdfs/data /local/data

bin/hadoop fs –get /hdfs/data /local/data

3. 创建目录

bin/hadoop fs -mkdir /hdfs/data

4. 查看目录

bin/hadoop fs –ls /hdfs

5. 查看文件内容及其子文件

bin/hadoop fs –ls [-R]/hdfs

6. 查看文件内容

bin/hadoop fs –cat /hdfs/data

7. 显示目录中所有文件的大小或当指定一个文件时，显示此文件的大小。

bin/hadoop fs –du /user/hadoop/dir1/user/hadoop/file1

8. 显示文件的大小

bin/hadoop fs –dus /user/hadoop/file

9. 将文件从源路径移动到目标路径

bin/hadoop mv /user/hadoop/file1/user/hadoop/file2

10.删除文件/目录

bin/hadoop fs –rm /hdfs/data

删除目录及其子目录

bin/hadoop fs –rm [-R]/hdfs/

11.清空回收站

bin/hadoop fs –expunge

12.改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

bin/hadoop fs -setrep-w 3 -R /user/hadoop/dir1

13.改变文件的权限。

bin/hadoopfs -chmod [-R] /user/hadoop

使用-R将使改变在目录结构下递归进行。

14.改变文件所属的组。

bin/hadoop fs -chmod [-R] graoupname

15.改变文件的拥有者。

bin/hadoop fs -chown [-R] [qwean][:[graoup]]URI

16.返回指定路径的统计信息。

bin/hadoop fs -stat /user/hadoop/

17.将文件尾部1K字节的内容输出到stdout。

bin/hadoop fs -tail /user/hadoop/data

18.检查文件

bin/hadoop fs -test -[ezd]URI

选项:

-e 检查文件是否存在。如果存在则返回0。

-z 检查文件是否是0字节。如果是则返回0。

-d 如果路径是个目录，则返回1，否则返回0。

19.将源文件输出为文本格式

bin/hadoopfs -text <src>

20.创建一个空文件

bin/hadoopfs -touchz /user/hadoop/file

HDFS Shell 所有命令总结