通过shell命令来控制hdfs
2012-12-20 13:46
363 查看
<1>. hadoop文件系统权限简介
hadoop文件系统实现的文件权限模型和posix模型极其类似。每个文件和目录和一个owner和group相关联。可以使用下面的命令来查看/tmp/目录下的所有文件及其权限:xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -ls /tmp/
11/05/10 06:42:56 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/05/10 06:42:56 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
Found 2 items
drwxr-xr-x - root supergroup 0 2011-05-10 05:36 /tmp/hadoop-root
-rw-r--r-- 3 xuqiang supergroup 541 2011-05-10 06:14 /tmp/hello.c
其中对于文件而言,r表明的是读取该文件的权限,w是写该文件的权限;对于目录而言的话,r权限表明的是能够读取该目录下的文件列表,w权限表明的是能够在目录下创建或者是删除文件和目录,x权限表示能够从该目录进入其子目录中。和posix模型不同的是,在hdfs中是不存在所谓的sticky,setuid和setgid。
<2>. 命令简介
hdfs设计之处的主要目的是对海量数据进行处理,也就是说在其上能够存储很大量文件(可以存储TB级的文件),hdfs将这些文件分割之后,存储在不同的DataNode上,但是对外却提供了一个简单的事实:这还是个简单完整的文件,只不过这个文件比较大。
hdfs处理文件的命令和linux上命令基本上是相同的,键入./bin/hadoop fs将输出能够支持的命令的列表:
Usage: java FsShell
[-ls <path>]
[-lsr <path>]
[-df [<path>]]
[-du [-s] [-h] <path>]
[-dus <path>]
[-count[-q] <path>]
[-mv <src> <dst>]
[-cp <src> <dst>]
[-rm [-skipTrash] <path>]
[-rmr [-skipTrash] <path>]
[-expunge]
[-put <localsrc> ... <dst>]
[-copyFromLocal <localsrc> ... <dst>]
[-moveFromLocal <localsrc> ... <dst>]
[-get [-ignoreCrc] [-crc] <src> <localdst>]
[-getmerge <src> <localdst> [addnl]]
[-cat <src>]
[-text <src>]
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
[-moveToLocal [-crc] <src> <localdst>]
[-mkdir <path>]
[-setrep [-R] [-w] <rep> <path/file>]
[-touchz <path>]
[-test -[ezd] <path>]
[-stat [format] <path>]
[-tail [-f] <file>]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-chgrp [-R] GROUP PATH...]
[-help [cmd]]
如果熟悉linux的话,这些命令基本上就不怎么需要解释了。 但是下面还是列出了几个常用场景下的命令:
1. 增加文件和目录
hdfs上的文件的目录结构同样也是类似于linux的,根目录使用/表示。下面的命令将在根目录下建立目录newdir:
./bin/hadoop fs -mkdir /newdir
ls查看一下:
xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -ls /
11/06/01 18:04:11 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/06/01 18:04:11 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
Found 3 items
drwxr-xr-x - xuqiang supergroup 0 2011-06-01 17:31 /jobtracker
drwxr-xr-x - xuqiang supergroup 0 2011-06-01 18:04 /newdir
drwxr-xr-x - xuqiang supergroup 0 2011-06-01 17:31 /tmp
既然已经有了这个目录,那么我们接着将一个本地文件local file上传到hdfs上。
xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -put ./README.txt .
这里需要注意的是.代表的含义,在hdfs中对于每个登录的用户都会存在一个默认的工作目录/user/$LOGINNAME(类似于linux下的home目录),.代表的就是这个默认工作目录。
2. 下载文件
xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -get /user/xuqiang/README.txt
3. 删除文件
xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -rm /user/xuqiang/README.txt
4. 帮助命令
xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -help ls
相关文章推荐
- 通过shell命令来控制hdfs
- 通过shell命令来控制hdfs
- 通过shell命令来控制hdfs
- 通过shell命令来控制hdfs
- Android系统中通过shell命令实现wifi的连接控制
- HDFS 常用Shell命令
- 通过Hadoop Shell命令进行导入导出操作
- HDFS Shell 常用命令
- Hadoop HDFS Shell命令
- linux c之通过popen和pclose函数创建管道执行shell 运行命令使用总结
- Hadoop学习第五次:HDFS的Shell命令
- hdfs shell命令及java客户端编写
- 通过shell命令杀死某个正在运行的程序
- hdfs的shell命令
- 我们可以通过两种方式进入Android的console: 1. 直接执行命令emulator -shell; 2.
- 基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口
- (Hadoop学习笔记-2) HDFS常用Shell命令
- Linux通过Shell脚本命令修改密码的两种方式
- 通过获取HDFS目录/文件夹大小来控制reduce个数
- 大数据第三天--HDFS SHELL 命令总结