Hadoop-1.1.2部署在RedHat Linux 5上常见错误及解决方案
2013-07-08 11:11
519 查看
遇到的问题:
1、在hadoop conf下执行命令: hadoop-daemon.sh start datanode,无法启动hadoop datanode:
[hadoop@master conf]$ hadoop-daemon.sh start datanode
Warning: $HADOOP_HOME is deprecated.
starting datanode, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-master.out
[hadoop@master conf]$ jps
4662 NameNode
4819 Jps
[hadoop@master conf]$ tail -300f /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-master.log
报错:
Incompatible namespaceIDs in /data/hadoop/hdfs/data: namenode namespaceID = 573007068; datanode namespaceID = 1802250800
解决方法:删除data目录(即是在hdfs-site.xml文件中配置的dfs.data.dir目录)然后重启datanode。
[hadoop@master conf]$ rm -rf /data/hadoop/hdfs/data
[hadoop@master conf]$ ll /data/hadoop/hdfs/
total 8
drwxrwxr-x 5 hadoop hadoop 4096 Jul 6 08:17 name
drwxrwxr-x 2 hadoop hadoop 4096 Jul 2 06:59 namesecondary
[hadoop@master conf]$ hadoop-daemon.sh start datanode
2、启动Jobtracker时报错:
2013-07-06 10:03:09,584 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://master:9000/data/hadoop/mapred/mrsystem
org.apache.hadoop.ipc.RemoteException: java.io.FileNotFoundException: Parent path is not a directory: /data
原因是:有个/data文件(注意不是文件夹,跟参数刚好不相匹配),也可以通过网页中看:
NameNode 'master:9000'
Started: Sat Jul 06 09:54:05 PDT 2013
Version: 1.1.2, r1440782
Compiled: Thu Jan 31 02:03:24 UTC 2013 by hortonfo
Upgrades: There are no upgrades in progress.
Browse the filesystem
Namenode Logs
解决方法:删除掉该文件:hadoop fs -rmr /data 即ok
3、在hadoop中编译eclipse导出的jar包时报错:
[hadoop@master hadoop-1.1.2]$ hadoop jar hdfs1.jar com.hadoop.hdfs.HDFSMkdir
Warning: $HADOOP_HOME is deprecated.
Exception in thread "main" java.lang.UnsupportedClassVersionError: com/hadoop/hdfs/HDFSMkdir : Unsupported major.minor version 51.0
原因:eclipse中所用java版本与hadoop所用java版本不一致。
解决方法:更改eclipse中的java版本重新导出jar包。
4、在访问Master:50070之后,点击browse the filesystem后,该页无法显示。
原因:点击browse the filesystem后,网页转向的地址用的是hadoop集群的某一个datanode的主机名,由于客户端的浏览器无法解析这个主机名,因此该页无法显示。
解决方法:需要在客户端的(C:\WINDOWS\system32\drivers\etc\hosts)hosts文件里加入hadoop集群的ip地址与对应的主机名
5、org.apache.hadoop.security.AccessControlException: Permission denied: user=administrator, access=EXECUTE, inode="xxx":heipark:supergroup:rwx-
原因:本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。
解决方法:
a、如果是测试环境,可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)。
b、修改hadoop location参数,在advanced parameter选项卡中,找到hadoop.job.ugi项,将此项改为启动hadoop的用户名即可。
注意第一次设置的时候可能没有hadoop.job.ugi参数,报错后在去看就有了。
1、在hadoop conf下执行命令: hadoop-daemon.sh start datanode,无法启动hadoop datanode:
[hadoop@master conf]$ hadoop-daemon.sh start datanode
Warning: $HADOOP_HOME is deprecated.
starting datanode, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-master.out
[hadoop@master conf]$ jps
4662 NameNode
4819 Jps
[hadoop@master conf]$ tail -300f /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-master.log
报错:
Incompatible namespaceIDs in /data/hadoop/hdfs/data: namenode namespaceID = 573007068; datanode namespaceID = 1802250800
解决方法:删除data目录(即是在hdfs-site.xml文件中配置的dfs.data.dir目录)然后重启datanode。
[hadoop@master conf]$ rm -rf /data/hadoop/hdfs/data
[hadoop@master conf]$ ll /data/hadoop/hdfs/
total 8
drwxrwxr-x 5 hadoop hadoop 4096 Jul 6 08:17 name
drwxrwxr-x 2 hadoop hadoop 4096 Jul 2 06:59 namesecondary
[hadoop@master conf]$ hadoop-daemon.sh start datanode
2、启动Jobtracker时报错:
2013-07-06 10:03:09,584 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://master:9000/data/hadoop/mapred/mrsystem
org.apache.hadoop.ipc.RemoteException: java.io.FileNotFoundException: Parent path is not a directory: /data
原因是:有个/data文件(注意不是文件夹,跟参数刚好不相匹配),也可以通过网页中看:
NameNode 'master:9000'
Started: Sat Jul 06 09:54:05 PDT 2013
Version: 1.1.2, r1440782
Compiled: Thu Jan 31 02:03:24 UTC 2013 by hortonfo
Upgrades: There are no upgrades in progress.
Browse the filesystem
Namenode Logs
解决方法:删除掉该文件:hadoop fs -rmr /data 即ok
3、在hadoop中编译eclipse导出的jar包时报错:
[hadoop@master hadoop-1.1.2]$ hadoop jar hdfs1.jar com.hadoop.hdfs.HDFSMkdir
Warning: $HADOOP_HOME is deprecated.
Exception in thread "main" java.lang.UnsupportedClassVersionError: com/hadoop/hdfs/HDFSMkdir : Unsupported major.minor version 51.0
原因:eclipse中所用java版本与hadoop所用java版本不一致。
解决方法:更改eclipse中的java版本重新导出jar包。
4、在访问Master:50070之后,点击browse the filesystem后,该页无法显示。
原因:点击browse the filesystem后,网页转向的地址用的是hadoop集群的某一个datanode的主机名,由于客户端的浏览器无法解析这个主机名,因此该页无法显示。
解决方法:需要在客户端的(C:\WINDOWS\system32\drivers\etc\hosts)hosts文件里加入hadoop集群的ip地址与对应的主机名
5、org.apache.hadoop.security.AccessControlException: Permission denied: user=administrator, access=EXECUTE, inode="xxx":heipark:supergroup:rwx-
原因:本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。
解决方法:
a、如果是测试环境,可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)。
b、修改hadoop location参数,在advanced parameter选项卡中,找到hadoop.job.ugi项,将此项改为启动hadoop的用户名即可。
注意第一次设置的时候可能没有hadoop.job.ugi参数,报错后在去看就有了。
相关文章推荐
- Hadoop-1.1.2部署在RedHat Linux 5上常见错误及解决方案
- 部署hadoop时常见错误解决
- hadoop 常见错误及解决方案
- ElasticSearch 5.0.0 安装部署常见错误或问题
- CCS5.4常见编译错误与解决方案
- 运行hadoop MapReduce程序常见错误及解决方法整理
- Hadoop2.X中Mapreduce,YARN等配置,启动和常见错误解决办法
- 常见错误及解决方案
- asp.net中调用COM组件发布IIS时常见错误 80070005解决方案
- 处理网页图片最常见的10个错误及其解决方案
- maven的部署和启动以及常见的三种错误
- Hadoop常见异常及其解决方案
- 三种常见的API设计错误及解决方案
- hadoop中mr程序部署上系统时报”拒绝连接“的错误
- 大数据常见错误解决方案
- Android 各种常见的错误解决方案
- Centos7,Hadoop-2.5.1下HBase-1.1.2安装部署
- hadoop常见错误总结
- [常见错误 及 解决方案系列]USE " cc.exports.* = value " INSTEAD OF SET GLOBAL VARIABLE"
- MySQL主从 常见的错误及解决方案