hadoop常用命令整理

1. 直接删除文件不进入垃圾回收桶

hadoop fs -rm -r -skipTrash   xxxx

2. 基于yarn提交的application

-- 查看日志和stdout,stderr输出
yarn logs -applicationId application_1479210500211_555588 > spark.log

-- 查看application
yarn application -list

-- 杀掉某个application
yarn application -kill application_1479210500211_599846

3. 查看hdfs文件大小，并排序查看前10个文件目录

hadoop fs -du -h /tmp | sort -n -r | head -10

4. beeline登陆

!connect jdbc:hive2://m-hadoop.esf.fdd:20000