hadoop 常用命令总结
2017-02-13 15:22
447 查看
1. 查看集群资源信息
hdfs dfsadmin -report
2. 启动一个mapreduce任务,
hadoop jar /opt/hadoop/share/hadoop/tools/lib/hadoop-streaming-3.0.0-alpha2.jar -input /test -output /output -mapper cat -reducer wc
中间日志出现一些:
2017-02-13 15:24:31,650 INFO mapreduce.Job: Task Id : attempt_1486627264009_0001_r_000000_0, Status : FAILED
Container [pid=8634,containerID=container_1486627264009_0001_01_000014] is running beyond virtual memory limits. Current usage: 148.8 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.
原因还未明了
3. 查看
1 成功将linux文件系统中的文件拷贝至hdfs文件系统中的某一个路径下: hadoop dfs -put linux源文件路径 hadoop的hdfs文件路径
2 成功将hdfs文件系统中的文件拷贝至linux文件系统中的某一个路径下: hadoop dfs -get hadoop的hdfs文件路径 linux源文件路径
3 知道如何显示hdfs文件系统中的文件: hadoop dfs -ls hdfs的文件路径
4 知道如何在hdfs文件系统制作文件的副本: hadoop dfs -cp 原文件 目标文件
5 知道如何在hdfs文件系统中删除某一个文件: hadoop dfs -rm 要被删除的目标文件
6 如果要删除hdfs上的文件目录呢?这里不再展示,直接命令:hadoop dfs -rmr hdfs系统上的文件目录名
hdfs dfsadmin -report
2. 启动一个mapreduce任务,
hadoop jar /opt/hadoop/share/hadoop/tools/lib/hadoop-streaming-3.0.0-alpha2.jar -input /test -output /output -mapper cat -reducer wc
中间日志出现一些:
2017-02-13 15:24:31,650 INFO mapreduce.Job: Task Id : attempt_1486627264009_0001_r_000000_0, Status : FAILED
Container [pid=8634,containerID=container_1486627264009_0001_01_000014] is running beyond virtual memory limits. Current usage: 148.8 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.
原因还未明了
3. 查看
hadoop fs -ls /output
hadoop fs -cat /output/part-00000 从其他地方拉过来的命令
1 成功将linux文件系统中的文件拷贝至hdfs文件系统中的某一个路径下: hadoop dfs -put linux源文件路径 hadoop的hdfs文件路径
2 成功将hdfs文件系统中的文件拷贝至linux文件系统中的某一个路径下: hadoop dfs -get hadoop的hdfs文件路径 linux源文件路径
3 知道如何显示hdfs文件系统中的文件: hadoop dfs -ls hdfs的文件路径
4 知道如何在hdfs文件系统制作文件的副本: hadoop dfs -cp 原文件 目标文件
5 知道如何在hdfs文件系统中删除某一个文件: hadoop dfs -rm 要被删除的目标文件
6 如果要删除hdfs上的文件目录呢?这里不再展示,直接命令:hadoop dfs -rmr hdfs系统上的文件目录名
相关文章推荐
- hadoop(一) 常用shell命令总结
- hadoop的hdfs相关的常用命令总结
- MySQL常用命令总结
- Hadoop Shell 常用命令
- condaco(python)常用命令使用总结
- Linux常用shell命令总结
- linux常用命令总结
- 常用git命令使用总结
- 总结自己的Git常用命令
- ubuntu下android开打常用命令总结
- MySQL常用命令总结
- Centos7 firewall常用命令总结
- Git常用命令总结(超实用)
- linux 常用命令 总结
- Redis常用命令总结
- MySql常用命令总结
- [版本控制之道] Git 常用的命令总结(欢迎收藏备用)
- linux常用命令总结与解析
- [Mysql] 常用命令总结
- hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令