Hadoop Streaming 常见错误(不断更新ing)
2016-10-10 21:02
316 查看
1、streaming默认的情况下,mapper和reducer的返回值不是0,被认为异常任务,将被再次执行,默认尝试4次都不是0,整个job都将失败
解决方法:
2、在执行streaming任务时,出现:Environment variable CLASSPATH not set!
解决方法:
在执行streaming时,加上选项:
3、在调用HDFS的C接口时,出现:Call to JNI_CreateJavaVM failed with error: -1
原因:貌似是因为在编译的时候加上了libjvm,然后动态链接库那也加了。解决方法,编译的时候去掉libjvmm的链接就可以了。
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed wi th code 1 at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.j ava:311) at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java :545) at org.apache.hadoop.streaming.PipeReducer.reduce(PipeReducer.java:130) at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:519 ) at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:420) at org.apache.hadoop.mapred.Child$4.run(Child.java:255) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInforma tion.java:1093) at org.apache.hadoop.mapred.Child.main(Child.java:249)
解决方法:
hadoop jar hadoop-streaming*.jar -D stream.non.zero.exit.is.failure=false
2、在执行streaming任务时,出现:Environment variable CLASSPATH not set!
解决方法:
在执行streaming时,加上选项:
-cmdenv CLASSPATH=$CLASSPATH
3、在调用HDFS的C接口时,出现:Call to JNI_CreateJavaVM failed with error: -1
原因:貌似是因为在编译的时候加上了libjvm,然后动态链接库那也加了。解决方法,编译的时候去掉libjvmm的链接就可以了。
相关文章推荐
- Hadoop Streaming 常见错误(不断更新ing)
- Hadoop Streaming 常见错误(不断更新ing)
- Hadoop Streaming 常见错误
- Hadoop:Hadoop的常见启动错误(有新问题会持续更新)
- python2-常见错误-不断更新
- Android开发各类常见错误解决方案(不断更新中)
- Hadoop 常见错误解决方法(12-13持续整理更新中)
- iOS真机调试、打包测试、发布程序常见问题(不断更新ing)
- MaxCompute常见错误汇总(更新ing)
- [ios专项]Xcode 常见错误/警告,处理方法 (持续更新ing.._20140601)
- Java菜鸟学习笔记(4)--常见编译&运行错误汇集(不断更新)
- C和C++里面常见错误和异常出现怎么解决总结(不断更新)
- [ios专项]Xcode 常见错误/警告,处理方法 (持续更新ing.._20140601)
- ASP.NET常见错误,原因及解决方法(2003版)_不断更新.....
- Android开发各类常见错误解决方案(不断更新中)
- Wince 6.0下常见错误收集(不断更新中)
- 在windows下开发的常见错误——持续更新,不断完善
- mysql主从配置及常见错误(不断更新中)
- CPP相关的常见错误(更新ing)
- Android开发各类常见错误解决方案(不断更新中)