Hadoop Streaming 常见错误(不断更新ing)
2014-11-11 22:48
363 查看
1、streaming默认的情况下,mapper和reducer的返回值不是0,被认为异常任务,将被再次执行,默认尝试4次都不是0,整个job都将失败
解决方法:
hadoop jar hadoop-streaming*.jar
-D stream.non.zero.exit.is.failure=false
2、在执行streaming任务时,出现:Environment variable CLASSPATH not set!
解决方法:
在执行streaming时,加上选项:
-cmdenv CLASSPATH=$CLASSPATH
3、在调用HDFS的C接口时,出现:Call to JNI_CreateJavaVM failed with error: -1
原因:貌似是因为在编译的时候加上了libjvm,然后动态链接库那也加了。解决方法,编译的时候去掉libjvmm的链接就可以了。
关于grep:
hadoop streaming -input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper "grep hello" -jobconf mapre.job.name="grep-test" -jobconf stream.non.zero.exit.is.failure=false -jobconf mapred.reduce.tasks=1
说明:
-input /user/hadoop/hadoopfile : 待处理文件目录
-output /user/hadoop/result :处理结果存放目录
-mapper "grep hello" :map程序
-jobconf mapre.job.name="grep-test" :任务名
-jobconf stream.non.zero.exit.is.failure=false : map-reduce程序返回值不做判断;streaming默认的情况下,mapper和reducer的返回值不是0,被认为异常任务,将被再次执行,默认尝试4次都不是0,整个job都将失败。而grep在没有匹配结果时返回1。
-jobconf mapred.reduce.tasks=1 : reduce任务数。 此处也可配置为0,为0配置表示告诉Map/reduce框架不要创建reducer任务
关于awk:
hadoop jar $HADOOP_STREAMING_JAR \
-input /test/ylb/mock_data/cv-pt-demo.txt \
-output /test/ylb/mock_data/output/cv-pt-demo-10 \
-mapper "awk '\$1~/1/ {printf(\"%s\t%s\n\",\$1,\$2)}'" \
-reducer "awk 'BEGIN{pt[\"test_key\"]=0;} {key=\$2/10;pt[key]+=1;} END{ for(k in pt){printf(\"%d\t%d\n\",k,pt[k]);} }'"
-mapper " awk ' ' " , 这种写法的话, ' ' 里面的脚本中有三种字符(shell特殊字符)需要转义,分别是 " ' $ ,这种写法的好处是可以方便的引用外部shell变量
-mapper ' awk " " ' 这种写法则不需要转义
类似的其他命令中需要嵌套单引号双引号也是这样。
在调试mapred程序时,经常会遇到以下错误代码:
java.io.IOException: Cannot run program "/data3/hadoop/mapred/mrlocal/taskTracker/test/jobcache/job_201203021500_101813/attempt_201203021500_101813_m_000000_0/work/./FptreeMap.py": java.io.IOException: error=2, No such file or directory
以上错误通常是由于脚本格式不正确导致(在windows上进行编码,linux上运行)
运行linux命令:dos2unix ,将脚本编码转换为unix格式即可解决错误
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127 at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:320) at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:533) at org.apache.hadoop.streaming.PipeMapper.map(PipeMapper.java:120) at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54) at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34) at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:429) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:
解决方法:
hadoop jar hadoop-streaming*.jar
-D stream.non.zero.exit.is.failure=false
2、在执行streaming任务时,出现:Environment variable CLASSPATH not set!
解决方法:
在执行streaming时,加上选项:
-cmdenv CLASSPATH=$CLASSPATH
3、在调用HDFS的C接口时,出现:Call to JNI_CreateJavaVM failed with error: -1
原因:貌似是因为在编译的时候加上了libjvm,然后动态链接库那也加了。解决方法,编译的时候去掉libjvmm的链接就可以了。
关于grep:
hadoop streaming -input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper "grep hello" -jobconf mapre.job.name="grep-test" -jobconf stream.non.zero.exit.is.failure=false -jobconf mapred.reduce.tasks=1
说明:
-input /user/hadoop/hadoopfile : 待处理文件目录
-output /user/hadoop/result :处理结果存放目录
-mapper "grep hello" :map程序
-jobconf mapre.job.name="grep-test" :任务名
-jobconf stream.non.zero.exit.is.failure=false : map-reduce程序返回值不做判断;streaming默认的情况下,mapper和reducer的返回值不是0,被认为异常任务,将被再次执行,默认尝试4次都不是0,整个job都将失败。而grep在没有匹配结果时返回1。
-jobconf mapred.reduce.tasks=1 : reduce任务数。 此处也可配置为0,为0配置表示告诉Map/reduce框架不要创建reducer任务
关于awk:
hadoop jar $HADOOP_STREAMING_JAR \
-input /test/ylb/mock_data/cv-pt-demo.txt \
-output /test/ylb/mock_data/output/cv-pt-demo-10 \
-mapper "awk '\$1~/1/ {printf(\"%s\t%s\n\",\$1,\$2)}'" \
-reducer "awk 'BEGIN{pt[\"test_key\"]=0;} {key=\$2/10;pt[key]+=1;} END{ for(k in pt){printf(\"%d\t%d\n\",k,pt[k]);} }'"
-mapper " awk ' ' " , 这种写法的话, ' ' 里面的脚本中有三种字符(shell特殊字符)需要转义,分别是 " ' $ ,这种写法的好处是可以方便的引用外部shell变量
-mapper ' awk " " ' 这种写法则不需要转义
类似的其他命令中需要嵌套单引号双引号也是这样。
在调试mapred程序时,经常会遇到以下错误代码:
java.io.IOException: Cannot run program "/data3/hadoop/mapred/mrlocal/taskTracker/test/jobcache/job_201203021500_101813/attempt_201203021500_101813_m_000000_0/work/./FptreeMap.py": java.io.IOException: error=2, No such file or directory
以上错误通常是由于脚本格式不正确导致(在windows上进行编码,linux上运行)
运行linux命令:dos2unix ,将脚本编码转换为unix格式即可解决错误
相关文章推荐
- Hadoop Streaming 常见错误(不断更新ing)
- Hadoop Streaming 常见错误(不断更新ing)
- Hadoop Streaming 常见错误
- Hadoop:Hadoop的常见启动错误(有新问题会持续更新)
- python2-常见错误-不断更新
- Android开发各类常见错误解决方案(不断更新中)
- Hadoop 常见错误解决方法(12-13持续整理更新中)
- Flume常见错误整理(持续更新ing...)
- MaxCompute常见错误汇总(更新ing)
- [ios专项]Xcode 常见错误/警告,处理方法 (持续更新ing.._20140601)
- Java菜鸟学习笔记(4)--常见编译&运行错误汇集(不断更新)
- mysql主从配置及常见错误(不断更新中)
- [ios专项]Xcode 常见错误/警告,处理方法 (持续更新ing.._20140601)
- ASP.NET常见错误,原因及解决方法(2003版)_不断更新.....
- Android开发各类常见错误解决方案(不断更新中)
- Wince 6.0下常见错误收集(不断更新中)
- 在windows下开发的常见错误——持续更新,不断完善
- iOS真机调试、打包测试、发布程序常见问题(不断更新ing)
- CPP相关的常见错误(更新ing)
- Android开发各类常见错误解决方案(不断更新中)