Hadoop HDFS常用命令

HDFS的特点： 一次写入，多次读取

HDFS下的文件操作：

1.列出HDFS文件

hadoop dfs -ls

//未带参数的-ls命令没有任何返回值，默认返回HDFS的“home”目录下的内容

//HDFS中，没有当前工作目录这样的概念，也没有cd这个命令

2.列出HDFS目录下某个文档中的文件

hadoop dfs -ls in

3.上传文件到HDFS（下面的命令中省略 hadoop dfs）

-put file_name new_File_nme

//将hadoop主目录下的file_name文件上传到HDFS并重命名为new_File_name

//上传文件时，文件首先复制到datenode上，只有所有的datenode都成功接收完数据，文件上传才是成功的

4.将HDFS中的文件复制到本地系统中

-get file newFileName

//将HDFS中的file文件复制到本地系统并命名为newFileName

//-put 和 -get 既可以操作文件，也可以操作目录

5.删除HDFS下的文档

-rmr out

//删除HDFS下的out文档

6.查看HDFS下某个文件

-cat fileName

7.可以通过-help commandName命令列出的清单来进行进一步的学习与探索

管理与更新

1.报告HDFS的基本信息

hadoop dfsadmin -report

2.退出安全模式

“Name node is in safe mode”

可以通过以下命令退出安全模式

hadoop dfsadmin -safemode leave

3.进入安全模式

hadoop dfsadmin -safemode eneter

4.添加新的DateNode节点

安装hadoop,可以NameNode的hadoop直接scp到新节点上

slaves文件中添加新节点

SSH无密码连接

5.负载均衡

start-balancer.sh

2.3 HDFS API

1.上传本地文件到HDFS

FileSystem.copyFromLocalFile(Path src,Path dest)

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);

hdfs.copyFromLocalFile(src,dest);

2.创建HDFS文件

FileSystem.create(Path f)

3.重命名HDFS文件

FileSystem.rename(Path src,Path dest)

4.删除HDFS上的文件

FileSystem.delete(Path f,Boolean recursive)

7.查找某个文件在HDFS集群的位置

FileSystem.getFileBlockLocations(FileStatus file,long start,long len)

8.获取HDFS集群上所有节点名称

DatanodeInfo.getHostName()