您的位置:首页 > 运维架构

精通HADOOP(十一) - MAPREDUCE任务的基础知识 - 总结

2010-11-30 02:06 417 查看
1.1 总结

这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解,以及了解如何使用它通知框架你的作业需要的元素。

你已经看见如何去写mapper和reducer类,以及如何使用reporter对象,reporter对象能够提供足够的关于你的作业的运行时的信息。最后,输出块是非常重要的,通过它你可以知道什么时候和为什么你配置你的作业去reduce, 以及你需要使用多少个reducer。

作为一个优秀的Hadoop专家,你看到在mapper和reducer类中打开的文件是空的或者是短的,这毫不奇怪,因为你知道在关闭文件之后,框架才会刷新最后一个文件系统块的数据值到磁盘上。

在下一章,你会学习到如何设置一个多机器集群。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: