Hadoop基本操作命令
2016-06-09 19:13
561 查看
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。
启动与关闭
2.执行sh
bin/start-all.sh
2.执行sh
bin/stop-all.sh
文件操作
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -ls /user/admin/aaron
这样,我们就找到了hdfs中/user/admin/aaron目录下的文件了。
我们也可以列出hdfs中/user/admin/aaron目录下的所有文件(包括子目录下的文件)。
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -lsr /user/admin/aaron
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -mkdir /user/admin/aaron/newDir
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -rm /user/admin/aaron/needDelete
删除hdfs中/user/admin/aaron目录以及该目录下的所有文件
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -rmr /user/admin/aaron
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile
查看hdfs中/user/admin/aaron目录下的newFile文件
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs –cat /home/admin/newFile
MapReduce Job操作
提交MapReduce
原则上说,Hadoop所有的MapReduce
Job都是一个jar包。
运行一个/home/admin/hadoop/job.jar的MapReduce
Job
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop job -kill job_201005310937_0053
CDH
日志目录 /opt/cm-5.7.1/log
启动目录 /opt/cm-5.7.1/sbin
杀死Applications
yarn application -kill application_1464423440626_0567
启动与关闭
启动Hadoop
1.进入HADOOP_HOME目录。2.执行sh
bin/start-all.sh
关闭Hadoop
1.进入HADOOP_HOME目录。2.执行sh
bin/stop-all.sh
文件操作
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。
查看文件列表
查看hdfs中/user/admin/aaron目录下的文件。1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -ls /user/admin/aaron
这样,我们就找到了hdfs中/user/admin/aaron目录下的文件了。
我们也可以列出hdfs中/user/admin/aaron目录下的所有文件(包括子目录下的文件)。
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -lsr /user/admin/aaron
创建文件目录
查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -mkdir /user/admin/aaron/newDir
删除文件
删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -rm /user/admin/aaron/needDelete
删除hdfs中/user/admin/aaron目录以及该目录下的所有文件
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs -rmr /user/admin/aaron
上传文件
上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/
下载文件
下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile
查看文件
我们可以直接在hdfs中直接查看文件,功能与类是cat类似查看hdfs中/user/admin/aaron目录下的newFile文件
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop fs –cat /home/admin/newFile
MapReduce Job操作
提交MapReduce
Job
原则上说,Hadoop所有的MapReduceJob都是一个jar包。
运行一个/home/admin/hadoop/job.jar的MapReduce
Job
1.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
杀死某个正在运行的Job
假设Job_Id为:job_201005310937_00531.进入HADOOP_HOME目录。
2.执行sh
bin/hadoop job -kill job_201005310937_0053
CDH
日志目录 /opt/cm-5.7.1/log
启动目录 /opt/cm-5.7.1/sbin
杀死Applications
yarn application -kill application_1464423440626_0567
相关文章推荐
- U盘安装Linux安装报错及解决方案
- 在CentOS-6.5-x86_64中搭建Git服务器
- 如何在CentOS-6.5-x86_64安装Git
- 遍历echsop的region表形成缓存的程序
- 在线复制架构调整案例
- SQLite数据库的命令行接口 Command Line Shell For SQLite
- 电商之梳理dubbo相关知识---分布式架构
- Linux下修改字符集
- 你需要了解的未来技术趋势——serverless怎样改变未来架构
- maven build tomcat:run报错
- 电商之梳理hadoop相关知识---分布式架构
- 谈谈OpenStack的鉴权过程
- Zephyr 教程:设置 Linux 开发环境
- linux 环境 centos6.5 下部署 dns 域名系统详细过程
- zabbix 监控概述
- linux shell快捷键整理
- nginx日志分析工具goaccess
- hadoop pipes应用别的语言
- 制作Linux版PE系统
- 电商之梳理Nginx(7层)相关知识---反向代理以及负载均衡