精通HADOOP(十一) - MAPREDUCE任务的基础知识 - 总结
2010-11-30 02:06
417 查看
1.1 总结
这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解,以及了解如何使用它通知框架你的作业需要的元素。
你已经看见如何去写mapper和reducer类,以及如何使用reporter对象,reporter对象能够提供足够的关于你的作业的运行时的信息。最后,输出块是非常重要的,通过它你可以知道什么时候和为什么你配置你的作业去reduce, 以及你需要使用多少个reducer。
作为一个优秀的Hadoop专家,你看到在mapper和reducer类中打开的文件是空的或者是短的,这毫不奇怪,因为你知道在关闭文件之后,框架才会刷新最后一个文件系统块的数据值到磁盘上。
在下一章,你会学习到如何设置一个多机器集群。
这章阐述了如何执行一个MapReduce作业。你现在对JobConf对象有一个基本的理解,以及了解如何使用它通知框架你的作业需要的元素。
你已经看见如何去写mapper和reducer类,以及如何使用reporter对象,reporter对象能够提供足够的关于你的作业的运行时的信息。最后,输出块是非常重要的,通过它你可以知道什么时候和为什么你配置你的作业去reduce, 以及你需要使用多少个reducer。
作为一个优秀的Hadoop专家,你看到在mapper和reducer类中打开的文件是空的或者是短的,这毫不奇怪,因为你知道在关闭文件之后,框架才会刷新最后一个文件系统块的数据值到磁盘上。
在下一章,你会学习到如何设置一个多机器集群。
相关文章推荐
- 精通HADOOP(七) - MAPREDUCE任务的基础知识 - Hadoop MapReduce任务的基本构成要素
- 精通HADOOP(八) - MAPREDUCE任务的基础知识 - 配置作业
- 精通HADOOP(九) - MAPREDUCE任务的基础知识 - 执行作业
- 精通HADOOP(十) - MAPREDUCE任务的基础知识 - 创建客户化的Mapper和Reducer
- 全国计算机技术与软件专业技术资格(水平)考试【软件评测师】-考试内容总结(十一)软件评测基础知识
- FreeRTOS任务基础知识总结
- 基础知识《十一》Java异常处理总结
- Hadoop 基础知识---之MapReduce篇
- Hadoop总结一:基础知识-Namenode,Datanode(非HA高可用性配置)
- 【Linux基础学习之四】文件系统的基础知识总结(主要目录结构、文件类型、mount、硬连接)
- 【软考学习】第二章总结——操作系统基础知识
- 黑马程序员_JavaSe基础知识总结六:super、final关键字
- hadoop基础学习总结(持续更新)
- Java基础知识总结(五)——安全
- hadoop MapReduce - 从作业、任务(task)、管理员角度调优
- C++ 基础知识回顾总结
- 三种基础的博弈知识和自己的小总结
- VC++ 基础知识 总结
- 【JavaWeb】基础知识总结04 JS基础
- JAVA基础知识精华总结