mapreduce job未执行的问题
2014-03-31 00:00
239 查看
今天在服务器上部署了一套cloudra的hadoop-2.2.0-cdh5.0.0,写了个简单的mapreduce程序,部署到服务端运行的时候,终端显示job提交了,然后就陷入等待中,job没有执行的状态信息
14/03/31 14:15:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/03/31 14:15:42 INFO client.RMProxy: Connecting to ResourceManager at shuma3/172.16.75.93:8032
14/03/31 14:15:42 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
14/03/31 14:15:50 INFO input.FileInputFormat: Total input paths to process : 95973
14/03/31 14:15:52 INFO mapreduce.JobSubmitter: number of splits:95973
14/03/31 14:15:52 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1394606508267_0013
14/03/31 14:15:52 INFO impl.YarnClientImpl: Submitted application application_1394606508267_0013
显示日志就停在这里,打开浏览器查看任务执行状态,看到submmited任务列表里有,但是final status状态为undefined。
之前以为是代码的问题,调整了下,问题依旧,之后怀疑是不是服务设置有问题,又查了下服务器配置和启动,jps指令检查发现进程中并没有nodemanager. 难怪提交了job无法执行,到sbin目录下执行yarn-daemon.sh start nodemanager
再查看job状态,终于开始处理了
14/03/31 14:15:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/03/31 14:15:42 INFO client.RMProxy: Connecting to ResourceManager at shuma3/172.16.75.93:8032
14/03/31 14:15:42 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
14/03/31 14:15:50 INFO input.FileInputFormat: Total input paths to process : 95973
14/03/31 14:15:52 INFO mapreduce.JobSubmitter: number of splits:95973
14/03/31 14:15:52 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1394606508267_0013
14/03/31 14:15:52 INFO impl.YarnClientImpl: Submitted application application_1394606508267_0013
显示日志就停在这里,打开浏览器查看任务执行状态,看到submmited任务列表里有,但是final status状态为undefined。
之前以为是代码的问题,调整了下,问题依旧,之后怀疑是不是服务设置有问题,又查了下服务器配置和启动,jps指令检查发现进程中并没有nodemanager. 难怪提交了job无法执行,到sbin目录下执行yarn-daemon.sh start nodemanager
再查看job状态,终于开始处理了
相关文章推荐
- quartz 2.2.3集群场景job重复执行问题
- JOB执行时间不断推后的问题
- 记Hadoop2.5.0线上mapreduce任务执行map任务划分的一次问题解决
- Hue+MapReduce Job配置及遇到的问题
- cron job执行中碰到的一个问题
- 【异常问题】Hive中SQL执行mapreduce.task.timeout超时问题
- Oracle计划任务JOB不自动执行的问题
- Hadoop - Map/Reduce 通过理解org.apache.hadoop.mapreduce.Job类来学习hadoop的执行逻辑
- MapReduce分布式缓存程序,无法在Windows下的Eclipse中执行问题解决
- 用新版本的job打成jar包在终端运行mapreduce程序遇到的问题 -找不到Map class?
- windows下 在eclipse中执行mapreduce 权限问题
- quartz在job间隔期间内,保证上一个任务执行完后,再去调度下一个任务(转),在多线程情况下的问题
- 如何执行hbase 的mapreduce job
- hadoop2 如何在执行mapreduce的时候指定job的名字
- linux上Kettle定时执行(转换的单步执行,job的单步执行,环境变量,kettle定时功能,效率问题等)转自(http://blog.csdn.net/feng19821209/article/details/5800960)
- windows下 在eclipse中执行mapreduce 权限问题
- HBase MapReduce Job 某些节点随机慢的问题的研究
- Hadoop: MapReduce2多个job串行处理 复杂的MapReduce处理中,往往需要将复杂的处理过程,分解成多个简单的Job来执行,第1个Job的输出做为第2个Job的输入,相互之间有一
- Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务
- 关于ORACLE时区问题 ----------为什么我的JOB总不是在我想执行的时候跑