您的位置:首页 > 编程语言 > Java开发

hadoop学习笔记(4)-Windows7 eclipse Hadoop Failed to set permissions of path

2012-03-17 14:02 507 查看
描述:我在Win7上用eclipse在远程的hadoop上调试程序,结果总是报Failed to set permissions of path错误,具体的堆栈信息如下:

Exception in thread "main" java.io.IOException: Failed to set permissions of path: file:/tmp/hadoop-hp/mapred/staging/hp1527257072/.staging to 0700

at org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue(RawLocalFileSystem.java:525)

at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:499)

at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:318)

at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:183)

at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)

at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:797)

at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:791)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Unknown Source)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)

at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:791)

at org.apache.hadoop.mapreduce.Job.submit(Job.java:465)

at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:494)

at cn.edu.ruc.kddcup2012.task2.mapper.UserProfile.main(UserProfile.java:35)

我的hadoop是运行在ubuntu server11.10上的,版本是0.20.203.0。这个问题用该是windows这边的问题,其中/tmp/hadoop-hp/mapred/staging/hp1527257072/.staging to 0700是windows7磁盘上的一个目录。网上查到这是由于0.20.203.0一级以后的版本的optimization引起的,只有去掉optimization、重新编译hadoop才行。

最后我也没能解决这个问题,暂时放弃了,如果有大牛能解决这个问题,请一定指教,不胜感激!

已经试过了,在linux系统上的eclipse中没有遇到这个问题,或者换早一点的hadoop版本也没这个问题。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: