您的位置：首页 > 编程语言

hadoop修改MR的提交的代码程序的副本数

2016-11-14 15:12 459 查看

hadoop修改MR的提交的代码程序的副本数

Under-Replicated Blocks的数量很多,有7万多个。hadoop fsck -blocks 检查发现有很多replica missing。而且这些丢失的replica对应的文件都是mr的程序文件。

原因：MR,hive 的程序代码上传到hdfs上，默认的副本数是10份，但集群只有4台，造成大量的 Under-Replicated Blocks 和 missing replicas.

1. 修改MR的提交的代码程序的副本数。

vi mapred-site.xml

<property>
<name>mapreduce.client.submit.file.replication</name>
<value>2</value>
</property>

mapreduce.client.submit.file.replication的值在集群节点数的平方根左右。

vi yarn-site.xml (apache hadoop 2.7.2 有该参数；cdh没有改参数)

yarn.sharedcache.nm.uploader.replication.factor

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航