关于Map和Reduce最大的并发数设置
2010-08-13 14:56
405 查看
一、环境
1、hadoop 0.20.2
2、操作系统 Linux
二、设置
1、因为hadoop的集群所有的机器不可能完全的配置一样,所以,不同节点机器上并发的最大map和reduce数量最好也不要相同。
2、在对应的节点机器上修改mapreduce-sit.xml文件,添加参数如下:
各个节点机器上在这个字段值上可以不相同。
3、查看http://192.168.3.131:50030/machines.jsp?type=active来检查数量。
三、总结
1、配置完之后,不需要重启集群所有的机器,只需要重启你改动过的节点机器就可以。
2、如果通过网页看不到变化,那么执行任意一个job,数值就会凸显出变化。
3、结合公平调度器来使用,可以最大程度上提升性能。
4、写的不对或是有疑问可以发邮件沟通。dajuezhao@gmail.com
1、hadoop 0.20.2
2、操作系统 Linux
二、设置
1、因为hadoop的集群所有的机器不可能完全的配置一样,所以,不同节点机器上并发的最大map和reduce数量最好也不要相同。
2、在对应的节点机器上修改mapreduce-sit.xml文件,添加参数如下:
<property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> <description>The maximum number of map tasks that will be run simultaneously by a task tracker. </description> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker. </description> </property>
各个节点机器上在这个字段值上可以不相同。
3、查看http://192.168.3.131:50030/machines.jsp?type=active来检查数量。
三、总结
1、配置完之后,不需要重启集群所有的机器,只需要重启你改动过的节点机器就可以。
2、如果通过网页看不到变化,那么执行任意一个job,数值就会凸显出变化。
3、结合公平调度器来使用,可以最大程度上提升性能。
4、写的不对或是有疑问可以发邮件沟通。dajuezhao@gmail.com
相关文章推荐
- mapreduce中map和reduce的最大并发数量设置
- Hadoop 中关于 map,reduce 数量设置
- hadoop 2.2.0 关于map和reduce的个数的设置
- 关于python当中lambda、yield、map、reduce、filter、sorted的总结
- 自己设置mapreduce程序的map个数和reduce个数
- hadoop中map和reduce的数量设置问题
- hadoop中每个节点map和reduce个数的设置调优
- hadoop中map和reduce的数量设置
- Apache的工作模式和最大并发请求数设置
- 关于给datepicker设置最大值
- 关于textview显示省略号和设置最大行数的问题
- hadoop中map和reduce的数量设置问题
- hadoop中每个节点map和reduce个数的设置调优
- MapReduce Map数 reduce数设置
- hadoop中每个节点map和reduce个数的设置调优
- Hadoop MapReduce执行过程详解及MR中job参数及设置map和reduce的个数(带hadoop例子)
- Map/Reduce Task JVM 堆大小设置优化
- Hive 设置map 和 reduce 的个数
- javascript中关于map foreach 和reduce的用法简单叙述
- hadoop中每个节点map和reduce个数的设置调优