我遇到的hadoop错误和解决方法汇总
2014-02-09 20:50
357 查看
http://heipark.iteye.com/blog/786302
==================================
windows cygwin环境下,遇到这个错误:org.apache.hadoop.security.AccessControlException: Permission denied: user=cyg_server, access=EXECUTE, inode="job_201010161322_0003":heipark:supergroup:rwx------
解决:刚开始还使用“./bin/hadoop dfs -chmod 777 ”,后来发现老是这样设置麻烦。可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。注意生产环境处于安全考虑不要这么搞。
==================================
window下使用eclipse开发hadoop程序遇到的问题。
现象一:“DFS Locations”无法浏览DFS中文件,报错
Cannot connect to the Map/Reduce location: heipark
Call to localhost/127.0.0.1:9000 failed on local exception: java.io.EOFException
现象二:启动自己编写的mapred程序报相同错误。
原因:Hadoop服务端版本和eclipse插件版本不一致
解决:倒腾了好几个版本eclipse和hadoop插件,有的点击没反应,不能浏览文件系统。最后整理了一下有两个办法:
一:自己编译eclipse plugin(自己尝试编译0.21.0版本没有成功。首选遇到包的依赖问题,接着编译成功后,eclipse右键创建还是没有响应)
二:我使用0.21.0自带的eclipse plugin在多个eclipse都不好用,在网上下了一个可以3.3,,3.4,3.5都可以跑的hadoop-0.20.3-dev-eclipse-plugin.jar(http://code.google.com/p/hadoop-eclipse-plugin/downloads/list),但是报上面的错误,有网友说是插件和hadoop版本不一致导致的。最后我下载了一个0.20.2版本hadoop,使用自带的插件在eclipse3.3.2下完美运行。
==================================
Namenode报错:“jobtracker.info could only be replicated to 0 nodes, instead of 1”
DateNode报错java.io.IOException: Incompatible namespaceIDs错误
原因:由于DateNode一段时间未启动,再次启动与NameNode数据不同步导致。
解决一:修改/dfs/data/current/VERSION文件中namespaceID值,保证NameNode和DateNode一致。修改原则:如果你有多个DateNode需要都需要修改,那就修改NameNode;否则就修改NameNode。总之就是最小化修改原则。这样修改不会删除数据,推荐。
解决二:删除有问题datenode的data文件夹,然后format namenode。
参考:http://forum.hadoop.tw/viewtopic.php?f=4&t=43
==================================
在windows eclipse开发环境提交job到远处linux hadoop集群,运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2”
原因:安装cygwin,而且需要设置"cygwin\bin"到环境变量PATH中
==================================
运行hive0.6.0报如下错误:
Invalid maximum heap size: -Xmx4096m
The specified size exceeds the maximum representable size.
Could not create the Java virtual machine.
修改“hive-0.6.0/bin/ext/util/execHiveCmd.sh”
HADOOP_HEAPSIZE=4096 为
HADOOP_HEAPSIZE=256
==================================
使用java client运行hive官方《 Getting Started Guide》中apachelog例子报错:
ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.RegexSerDe
hive没有找到hive-contrib-0.7.0.jar吗?这个jar明明在lib下,解决办法如下:
vi hive-default.xml
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hadoop/hive-0.7.0/lib/hive-contrib-0.7.0.jar</value>
</property>
再次启动Hive Thrift Server,OK了。
参考资料:http://web.archiveorange.com/archive/v/S2z2uyzt6K4HGoJJbSUy
==================================
windows cygwin环境下,遇到这个错误:org.apache.hadoop.security.AccessControlException: Permission denied: user=cyg_server, access=EXECUTE, inode="job_201010161322_0003":heipark:supergroup:rwx------
解决:刚开始还使用“./bin/hadoop dfs -chmod 777 ”,后来发现老是这样设置麻烦。可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。注意生产环境处于安全考虑不要这么搞。
==================================
window下使用eclipse开发hadoop程序遇到的问题。
现象一:“DFS Locations”无法浏览DFS中文件,报错
Cannot connect to the Map/Reduce location: heipark
Call to localhost/127.0.0.1:9000 failed on local exception: java.io.EOFException
现象二:启动自己编写的mapred程序报相同错误。
原因:Hadoop服务端版本和eclipse插件版本不一致
解决:倒腾了好几个版本eclipse和hadoop插件,有的点击没反应,不能浏览文件系统。最后整理了一下有两个办法:
一:自己编译eclipse plugin(自己尝试编译0.21.0版本没有成功。首选遇到包的依赖问题,接着编译成功后,eclipse右键创建还是没有响应)
二:我使用0.21.0自带的eclipse plugin在多个eclipse都不好用,在网上下了一个可以3.3,,3.4,3.5都可以跑的hadoop-0.20.3-dev-eclipse-plugin.jar(http://code.google.com/p/hadoop-eclipse-plugin/downloads/list),但是报上面的错误,有网友说是插件和hadoop版本不一致导致的。最后我下载了一个0.20.2版本hadoop,使用自带的插件在eclipse3.3.2下完美运行。
==================================
Namenode报错:“jobtracker.info could only be replicated to 0 nodes, instead of 1”
DateNode报错java.io.IOException: Incompatible namespaceIDs错误
原因:由于DateNode一段时间未启动,再次启动与NameNode数据不同步导致。
解决一:修改/dfs/data/current/VERSION文件中namespaceID值,保证NameNode和DateNode一致。修改原则:如果你有多个DateNode需要都需要修改,那就修改NameNode;否则就修改NameNode。总之就是最小化修改原则。这样修改不会删除数据,推荐。
解决二:删除有问题datenode的data文件夹,然后format namenode。
参考:http://forum.hadoop.tw/viewtopic.php?f=4&t=43
==================================
在windows eclipse开发环境提交job到远处linux hadoop集群,运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2”
原因:安装cygwin,而且需要设置"cygwin\bin"到环境变量PATH中
==================================
运行hive0.6.0报如下错误:
Invalid maximum heap size: -Xmx4096m
The specified size exceeds the maximum representable size.
Could not create the Java virtual machine.
修改“hive-0.6.0/bin/ext/util/execHiveCmd.sh”
HADOOP_HEAPSIZE=4096 为
HADOOP_HEAPSIZE=256
==================================
使用java client运行hive官方《 Getting Started Guide》中apachelog例子报错:
ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.RegexSerDe
hive没有找到hive-contrib-0.7.0.jar吗?这个jar明明在lib下,解决办法如下:
vi hive-default.xml
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hadoop/hive-0.7.0/lib/hive-contrib-0.7.0.jar</value>
</property>
再次启动Hive Thrift Server,OK了。
参考资料:http://web.archiveorange.com/archive/v/S2z2uyzt6K4HGoJJbSUy
相关文章推荐
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
- 自己编程中遇到的Python错误和解决方法汇总整理
- hadoop错误和解决方法汇总
- hadoop配置lzo,外加自己遇到错误的解决方法
- 用PB6开发WINCE时常遇到的错误以及解决方法汇总
- 自己编程中遇到的Python错误和解决方法汇总整理
- win7中的eclipse连接虚拟机中Linux(Ubuntu)的Hadoop (附上配置时遇到的错误和解决的方法)
- 安装Hadoop时遇到的几个错误及解决方法
- hadoop2.4.1源码在64位系统编译过程中遇到的几个错误及解决方法
- Android开发过程中遇到的错误汇总及其解决方法
- IOS开发中 常常遇到的遇到的警告,错误汇总,解决方法
- hadoop错误和解决方法汇总
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
- 关于C#操作PPT时遇到的“对COM组件的调用返回了错误HRESULT E_FAIL”错误的解决方法
- 关于在做java的Web开发中遇到跨域访问的问题的解决方法汇总
- 无法升级Win10 正式版TH2怎么办?win10 th2安装时出现错误的解决方法汇总
- 遇到的错误-----MySQL使用临时表 出现 “ERROR 1137 (HY000): Can't reopen table” 的异常 解决方法
- Microsoft Office Word 2003 遇到错误需要关闭?解决方法
- Hadoop常见错误问题及解决方法(1)
- Xcode 升级后,常常遇到的遇到的警告、错误,解决方法