Hadoop程序,出现 Filesystem closed 异常
2014-09-29 11:19
411 查看
一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果,它并不是每次都创建一个新的实例。这就意味着,如果每个线程都自己去get一个文件系统,然后使用,然后关闭,就会有问题。因为你们关闭的可能是同一个对象。而别人还在用它!
所以最好是在main函数中就创建好filesystem对象然后在不同函数之间来回传递吧。在main函数用用try…finally关闭它。
多线程程序中,如果你确保在你的get和close之间不会有别人调用get,也没问题
或者关闭cache
通过修改配置文件core-site.xml:
<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>
程序仍然出现上述问题。
在程序中,加上这条语句:JobConf jobConf.set("fs.hdfs.impl.disable.cache", "true");
程序运行成功。
所以最好是在main函数中就创建好filesystem对象然后在不同函数之间来回传递吧。在main函数用用try…finally关闭它。
多线程程序中,如果你确保在你的get和close之间不会有别人调用get,也没问题
或者关闭cache
通过修改配置文件core-site.xml:
<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>
程序仍然出现上述问题。
在程序中,加上这条语句:JobConf jobConf.set("fs.hdfs.impl.disable.cache", "true");
程序运行成功。
相关文章推荐
- 运行Hadoop程序,出现 Filesystem closed 异常
- 运行Hadoop程序,出现 Filesystem closed 异常
- C程序访问hadoop出现的各种编译错误和运行时各种类DefFound异常的解决方法(makefile的书写和环境变量的配置)
- 编译boost程序出现如下错误fatal error LNK1104: cannot open file 'libboost_system-vc100-mt-gd-1_54.lib'的解决方法
- FileSystem closed 异常问题
- 解决Eclipse/STS 中出现Resource is out of sync with the file system 的异常
- C程序访问hadoop出现的各种编译错误和运行时各种类DefFound异常的解决方法
- hadoop程序抛出异常:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
- 编译boost程序出现如下错误fatal error LNK1104: cannot open file 'libboost_system-vc100-mt-gd-1_54.lib'的解决方法
- 编译boost程序出现如下错误fatal error LNK1104: cannot open file 'libboost_system-vc100-mt-gd-1_54.lib'的解决方法
- C# B/S程序中出现“异常详细信息: System.Data.SqlClient.SqlException: 用户 'XXX/ASPNET' 登录失败。”的处理方法
- Hadoop Filesystem closed Exception
- spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs
- oozie 调度异常 JA009: Filesystem closed
- 编译boost程序出现如下错误fatal error LNK1104: cannot open file 'libboost_system-vc100-mt-gd-1_54.lib'的解决方法
- 在android系统命令行中执行arm linux程序,出现/system/bin/sh: .xxx No such file or directory问题
- 【转】SqlLite .Net 4.0 System.IO.FileLoadException”类型的未经处理的异常出现在XXX
- Win764bit下安装32位Oracle10g出现异常:无法定位程序输入点GetProcessImageFileNameW于动态链接库PSAPI.DLL
- Windows下 haoop下运行程序时出现错误:Hadoop HDFS Wrong FS: hdfs:/ expected file:///
- wpf 加载窗体界面时出现异常System.IO.FileNotFoundException