Hadoop 基准测试与example
2015-12-10 22:16
253 查看
#pi值示例 hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar pi 20 200 #生成数据 第一个参数是行数 第二个参数是位置 hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar teragen 1000000 /teradata #指定了使用的map数,默认是2个 hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar teragen -Dmapred.map.tasks=10 1000000 /terasort #测试排序的功能 hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar terasort /teradata /terasortout #测试HDFS 写文件基准测试 hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-client-jobclient-2.3.0-cdh5.0.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 100
现在使用的这个版本是hadoop-2.3cdh5.0.2
在执行任务的时候,发现nodemanager里面有很多container明明是成功完成的,但是在前面还是会产生类似container被appmaster killed , exit with non zero code 143
这样的日志,让我非常疑惑,在web ui的页面也是能看到这样的,但整个任务跑完之后在web页面就看不到了。
后来在网上搜索,发现这是yarn的一个bug.
关于如何打补丁的学习,使用patch命令打补丁,patch需要安装。
然后重新编译模块,然后替换相关的jar包即可。
相关文章推荐
- powershell脚本-DNS
- 清理linux内存cache
- HDU 2795 放模板 (线段树_维护最大值,好题)
- linux socket 编程顶尖教程
- [笔记] 大型网站技术架构——核心原理与案例分析 [一]
- nginx--rewrite指令使用
- Operating System-进程间互斥的方案-保证同一时间只有一个进程进入临界区(1)- 屏蔽中断,锁变量,严格轮换法
- linux系统inittab文件丢失故障
- shell变量数学运算
- Linux基本命令操作
- 网页切图的技巧及经验总结
- 为linux主机安装应用程序
- Shell学习--(2)变量
- Hadoop-2.2.0中国文献——MapReduce 下一代 —配置单节点集群
- Hadoop 配置文件存放位置
- 关于linux文件管理的学习
- mongoDB实践-docker实践-01
- linux 硬盘分区
- Red Hat Linux 6.0安装图解
- AOJ 0118 Property Distribution {深度优先搜索}