HBase有关HDFS配置的官方文档记录
2016-09-08 10:14
465 查看
2.1.3.5. dfs.datanode.max.xcievers
一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers(Hadoop的作者把这个单词拼错了). 在你加载之前,先确认下你有没有配置这个文件
conf/hdfs-site.xml里面的
xceivers参数,至少要有4096:
<property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property>
对于HDFS修改配置要记得重启.
如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误。例如:
10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block. Will get new block locations from namenode and retry...[5]
See also Section 13.3.4, “Case Study #4 (xcievers Config)”
由于 HBase 依赖 Hadoop,它配套发布了一个Hadoop jar 文件在它的 lib 下。该套装jar仅用于独立模式。在分布式模式下,Hadoop版本必须和HBase下的版本一致。用你运行的分布式Hadoop版本jar文件替换HBase
lib目录下的Hadoop jar文件,以避免版本不匹配问题。确认替换了集群中所有HBase下的jar文件。Hadoop版本不匹配问题有不同表现,但看起来都像挂掉了。
相关文章推荐
- Hbase-0.98.0全分布集群安装于配置(详细版参考自官方文档)
- hadoop 2.x之HDFS HA讲解之七根据官方文档一步一步的配置HDFS HA
- dbcp配置--官方文档中文版本
- 有关Outlook Express邮件压缩后丢失的微软官方文档
- Ubuntu12.04 安装配置NFSv4的官方文档
- HBase 官方文档中文版
- u-boot-2012.10 官方文档翻译--配置选项
- 有关hibernate 里的save, saveorupdate, merge的应用对比.引自hibernate官方文档
- Oracle 10g 单实例数据库 Data Guard 之 Physical Standby 配置详解(根据官方文档总结)
- (转)HBase 官方文档__中文版
- 如何配置OpenGL ES的上下文(OpenGL ES2.0官方文档翻译)
- Ceph官方文档——硬件配置推荐
- 基于多个HDFS文件系统的HBASE配置
- OSCache 配置缓存过滤器 官方文档 中文翻译
- nagios的配置官方文档篇
- Ubuntu12.04 安装配置NFSv4的官方文档
- dbcp配置--官方文档中文版本
- android官方文档学习记录
- 推荐HBase 官方文档
- 如何配置OpenGL ES的上下文(OpenGL ES2.0官方文档翻译)