Hadoop dfs 常用命令行
2015-12-29 15:26
351 查看
* 文件操作
* 查看目录文件 * $ hadoop dfs -ls /user/cl *
* 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp *
* 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt *
* 删除目录与目录下所有文件 * $ hadoop dfs -rmr /user/cl/temp *
* 上传文件
* 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下
* $ hadoop dfs -put /home/cl/local.txt /user/cl/temp *
* 下载文件
* 下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中
* $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl *
* 查看文件 * $ hadoop dfs –cat /home/cl/hdfs.txt *
* Job操作
* 提交MapReduce Job, Hadoop所有的MapReduce Job都是一个jar包
* $ hadoop jar <local-jar-file> <java-class> <hdfs-input-file> <hdfs-output-dir>
* $ hadoop jar sandbox-mapred-0.0.20.jar sandbox.mapred.WordCountJob /user/cl/input.dat /user/cl/outputdir * * 杀死某个正在运行的Job * 假设Job_Id为:job_201207121738_0001 * $ hadoop job -kill job_201207121738_0001
* 查看目录文件 * $ hadoop dfs -ls /user/cl *
* 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp *
* 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt *
* 删除目录与目录下所有文件 * $ hadoop dfs -rmr /user/cl/temp *
* 上传文件
* 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下
* $ hadoop dfs -put /home/cl/local.txt /user/cl/temp *
* 下载文件
* 下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中
* $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl *
* 查看文件 * $ hadoop dfs –cat /home/cl/hdfs.txt *
* Job操作
* 提交MapReduce Job, Hadoop所有的MapReduce Job都是一个jar包
* $ hadoop jar <local-jar-file> <java-class> <hdfs-input-file> <hdfs-output-dir>
* $ hadoop jar sandbox-mapred-0.0.20.jar sandbox.mapred.WordCountJob /user/cl/input.dat /user/cl/outputdir * * 杀死某个正在运行的Job * 假设Job_Id为:job_201207121738_0001 * $ hadoop job -kill job_201207121738_0001
相关文章推荐
- Linux下Tomcat的安装配置
- [笔记]shell脚本中的流程控制
- 归纳整理一些工作学习中发现的不错的网站、博客地址等
- Desktop Entry,关于Linux如何创建桌面快捷方式
- popToViewController返回到指定页面
- apache的配置
- 安装psycopg2出错:Error:pg_config executable not found的解决
- 在阿里云的CentOS环境中安装django
- zabbix-agent监控windows
- linux系统dist-upgrade和upgrade的区别
- 网站页面优化策略
- 理解RESTFul架构
- HBase 常用Shell命令
- Synergy工具 共享Windows系统电脑Linux系统电脑 鼠标键盘
- synergy在Windows和Linux下使用全攻略(多台PC共享一套键盘鼠标)
- CentOS7的VmWare tool的安装
- linux 利用export 更新系统环境变量
- Linux流量监控工具 - iftop
- 注意windows和linux下文件编码问题!
- Linux iperf 用法介绍