task tracker最大任务数设置
2012-09-18 13:46
295 查看
用oozie跑一个workflow
这个workflow包含多个sqoop和pig脚本
刚开始跑就发生了问题,具体情况为:
sqoop启动的job,map显示100%,状态为running
reduce 0%然后无反映,一直处于等待状态
原因是我在本机伪分布式模式下默认的mapreduce个数为2
而在oozie的workflow中有多个任务要运行且有先后顺序
先启动的任务占了slot然后要等待其他任务结束
而其他任务在等待运行中的任务释放slot
修改mapred-site.xml覆盖单台task tracker最大任务数的默认设置
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>10</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>10</value>
<description>The maximum number of reduce tasks that will be run
simultaneously by a task tracker.
</description>
</property>
设置为10个任务,然后重起hadoop,正确运行。
oozie是一个工作流引擎,可以控制java,sqoop,pig等,具体应用可以看官方介绍 点击打开链接
Sqoop is a tool designed to transfer data between Hadoop and relational databases,具体介绍点击打开链接
这个workflow包含多个sqoop和pig脚本
刚开始跑就发生了问题,具体情况为:
sqoop启动的job,map显示100%,状态为running
reduce 0%然后无反映,一直处于等待状态
原因是我在本机伪分布式模式下默认的mapreduce个数为2
而在oozie的workflow中有多个任务要运行且有先后顺序
先启动的任务占了slot然后要等待其他任务结束
而其他任务在等待运行中的任务释放slot
修改mapred-site.xml覆盖单台task tracker最大任务数的默认设置
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>10</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>10</value>
<description>The maximum number of reduce tasks that will be run
simultaneously by a task tracker.
</description>
</property>
设置为10个任务,然后重起hadoop,正确运行。
oozie是一个工作流引擎,可以控制java,sqoop,pig等,具体应用可以看官方介绍 点击打开链接
Sqoop is a tool designed to transfer data between Hadoop and relational databases,具体介绍点击打开链接
相关文章推荐
- activiti 任务节点 处理人设置
- 【转】spring定时任务时间格式cronExpression设置(转载)
- 可以得到某一列的最大记录,就可以设置长度了
- linux定时任务的设置
- Large-file-chunk-size 设置最大文件上传值
- C++ 第十三周任务-最大公约数
- MySQL最大连接数设置
- android WebView设置最大高度
- Java 编程下 Eclipse 如何设置单行代码显示的最大宽度
- pyqt4 基本窗口,窗口布局,设置logo,窗口最大最小化
- JFrame设置最大尺寸
- Ubuntu上搭建android BSP的开发编译环境 && 设置定时编译任务
- sping的quartz设置定时任务
- 【Unity&NGUI】背包单格中最大数量怎么设置
- Hadoop 设置任务执行的队列以及优先级
- autolayout UILabel 设置最大宽度
- ubuntu 设置计划任务
- 设置定时任务
- 百度地图API示例之设置地图最大、最小级别
- 地面站进行航迹规划任务设置