hadoop 2.4 的测试工具之name node benchmark 异常处理=> exceptions: 1000

hadoop 2.4 的测试工具之name node benchmark 异常处理=> exceptions: 1000

　　简单测试name node只读的性能，命令摘录如下：

　　 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.4.0.2.1.4.0-632-tests.jar nnbench -operation open_read ...

　　看其报告结果是跑了一圈map reduce过程，但却显示有异常，提示为：exceptions: 1000。



　　因为hadoop 2.4的是YARN框架，而且map和reduce的过程是在data node上的，通过YARN日志配置（yarn-site.xml）路径得知日志在：/hadoop/yarn/log目录里。

　　

　　众所周知，应用程序的日志包括jobhistory日志和Container日志，jobhistory日志是应用程序运行日志，而Container日志是map和reduce的日志，根据规范是放在application_xxx目录和container_xxx_000001，container_xxx_000002，container_xxx_000003，….的目录下。每个目录下包含三个日志文件：stdout、stderr和syslog，这个和Hadoop 1.x一样。最终目录可能类似：

　　/hadoop/yarn/log/application_1410245613449_0002/container_1410245613449_0002_01_000003

　　最终的目录结构类似如下图：



　　然后再查看syslog，原来是文件没找到：

　　Exception recorded in op: OpenRead java.io.FileNotFoundException: File does not exist: /benchmarks/NNBench/data/file_dn.superv-3.com__0

　　用命令查了一下，果然没有！

　　打开NNBench.java源码看，原来读测试是需要先有文件的，文件名规范是这样的，注意文件后缀是从0开始的（注意，这个和参数numberOfFiles有很大关系）：



　　baseDir和dataDirName变量的默认值是这么定义的："/benchmarks/NNBench"和“data”，而name变量的值是取当前服务器的hostname，我这里显示的是服务器的域名名称：



　　

　　OK，我们按照这个命名规范手动在HDFS上创建文件file_dn.superv-3.com__0



　　然后再测试，不报错了！