Hadoop NullPointerException
2014-03-24 19:16
579 查看
今天在写一个MapReduce的程序时,遇到了一个java.lang.NullPointerException。具体的错误信息如下:
java.lang.NullPointerException
at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:797)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:524)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:613)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
经过自己一段时间的调试没有任何结果,后来在网上浏览了一段时间,找到了解决问题的方法。
出现这种错误多半是map或者reduce中的数据类型出错了。例如:Text,IntWritable等。
解决方法:
确定map和reduce中的数据类型是否正确,各个环节的key/value的类型是否匹配,包括job驱动中同import导入的数据
类型是否正确。我出现这种错误的原因就是Text的类型通过eclipse自动导入的时候,导入的是javax.xml.soap.Text不是org.apache.hadoop.io.Text。
java.lang.NullPointerException
at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:797)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:524)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:613)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
经过自己一段时间的调试没有任何结果,后来在网上浏览了一段时间,找到了解决问题的方法。
出现这种错误多半是map或者reduce中的数据类型出错了。例如:Text,IntWritable等。
解决方法:
确定map和reduce中的数据类型是否正确,各个环节的key/value的类型是否匹配,包括job驱动中同import导入的数据
类型是否正确。我出现这种错误的原因就是Text的类型通过eclipse自动导入的时候,导入的是javax.xml.soap.Text不是org.apache.hadoop.io.Text。
相关文章推荐
- Hadoop on Mac with IntelliJ IDEA - 8 单表关联NullPointerException
- 解决 hadoop-eclipse-plugin NullPointerException
- eclipse 使用 hadoop plugin 插件 连接不上的问题 updater".java.lang.NullPointerException
- Hadoop 自定义Writable NullpointerException
- hadoop中用copyToLocalFile方法下载报NullPointerException
- Hadoop 自定义Writable NullPointerException
- hadoop2.6.4和myeclipse集成执行JobClient.runJob(conf)报NullPointerException
- hadoop2.7.1运行wordcount时NullPointerException
- [hadoop] map函数中使用FileSystem对象出现java.lang.NullPointerException的原因及解决办法
- Hadoop: strange NullPointer Exception running in MapReduce 的解决办法
- Hadoop 它们的定义Writable NullpointerException
- 关于在win本地远程hadoop集群开发导致的NullPointerException问题
- android在fragment中实现onTouchEvent办法出现的java.lang.NullPointerException
- File throws NullPointerException
- Myeclipse+Aptana显示Null Pointer Exception
- [SSM]java.lang.NullPointerException
- java.lang.NullPointerException: Module 'null' not found
- 如何更好的避免NullPointerException
- Eclipse Errors running builder 'CDT Builder' java.lang.NullPointerException解决办法
- HDFS文件操作FileSystem使用API报错:copyToLocalFile NullPointerException