hadoop相关参数对集群的影响
2013-03-21 16:40
288 查看
随着HBase的上线带来了一些问题，在调整原来参数的过程中，影响到了之前相关任务的执行过程
其中就有个参数：
mapred.reduce.parallel.copies
当初上线的时候，设置是20。由于后面在对hbase做相关批量导入数据时，将此值修改成6。然后脚本在运行时在reduce阶段，Read timeOut的超时现象。
其中就有个参数：
mapred.reduce.parallel.copies
当初上线的时候，设置是20。由于后面在对hbase做相关批量导入数据时，将此值修改成6。然后脚本在运行时在reduce阶段，Read timeOut的超时现象。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- hadoop相关优化参数
- zookeeper集群的搭建以及hadoop ha的相关配置
- Hadoop YARN配置参数剖析(1)—RM与NM相关参数
- Hadoop YARN配置参数剖析(3)—MapReduce相关参数
- Hadoop(3-1)- Yarn 内存分配管理机制及相关参数配置
- Hadoop集群上检查磁盘使用量和清理相关日志文件脚本
- Hadoop集群参数配置原则
- Hadoop YARN配置参数剖析(1)—RM与NM相关参数
- Hadoop YARN配置参数剖析(1)—RM与NM相关参数
- Hadoop YARN配置参数剖析(1)—RM与NM相关参数
- 如何在不影响hadoop集群正常运行的情况下迁移主控节点[namenode]
- Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数
- hadoop集群调优---参数
- Hadoop YARN配置参数剖析(1)—RM与NM相关参数
- Zookeeper + Hadoop2.6 集群HA + spark1.6完整搭建与所有参数解析
- xfs相关参数对于rbd性能影响
- 从几个角度看hadoop相关参数优化
- cloudera安装hadoop集群和相关服务
- Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数