您的位置:首页 > 运维架构

mapreduce job未执行的问题

2014-03-31 00:00 239 查看
今天在服务器上部署了一套cloudra的hadoop-2.2.0-cdh5.0.0,写了个简单的mapreduce程序,部署到服务端运行的时候,终端显示job提交了,然后就陷入等待中,job没有执行的状态信息

14/03/31 14:15:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

14/03/31 14:15:42 INFO client.RMProxy: Connecting to ResourceManager at shuma3/172.16.75.93:8032

14/03/31 14:15:42 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.

14/03/31 14:15:50 INFO input.FileInputFormat: Total input paths to process : 95973

14/03/31 14:15:52 INFO mapreduce.JobSubmitter: number of splits:95973

14/03/31 14:15:52 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1394606508267_0013

14/03/31 14:15:52 INFO impl.YarnClientImpl: Submitted application application_1394606508267_0013

显示日志就停在这里,打开浏览器查看任务执行状态,看到submmited任务列表里有,但是final status状态为undefined。

之前以为是代码的问题,调整了下,问题依旧,之后怀疑是不是服务设置有问题,又查了下服务器配置和启动,jps指令检查发现进程中并没有nodemanager. 难怪提交了job无法执行,到sbin目录下执行yarn-daemon.sh start nodemanager

再查看job状态,终于开始处理了
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop mapreduce
相关文章推荐