Hadoop学习笔记二

1、Job的状态及状态转换：

job总共有5种状态（PREP、RUNNING、SUCCEEDED、FAILED、KILLED），其转换及其对应的事件

PREP -> RUNNING：作业的Setup Task(job-setup Task)成功执行完成

PREP -> FAILED/KILLED：人为使用Shell命令杀死作业，即bin/hadoop job [-kill|-fail] <jobid>
RUNNING -> SUCCEEDED：作业的Clean Task(job-clean Task)执行成功

RUNNING -> FAILED：多种情况可导致该状态转移，包括人为使用Shell命令杀死作业，作业的Cleanup/Setup Task运行失败和作业失败的任务数超过了一定比例

RUNNING -> KILLED：人为使用Shell杀死作业

2、hadoop2中，yarn、namenode等进程ID默认保存在/tmp目录下，可以在yarn-daemon.sh、hadoop-daemon.sh中通过修改YARN_PID_DIR、HADOOP_PID_DIR来指定目录

3、hadoop1中，MR的内存大小由mapred.child.java.opts配置，默认200M，在hadoop2中，MR的内存大小分别由mapreduce.map.memory.mb和mapreduce.reduce.memory.mb配置，默认也调整到1024