三 概要模式 3) MR计数器计数 。无 reduce 计数
2016-05-03 14:51
627 查看
计数器模式讲解:
先讲一下,就是说只用 Map 阶段 不需要 Reduce 。 也就是说去掉了中间输出,而是Map 直接输出结果。大大提高了 MR 的效率且节省了 MR 中间输出读入的 IO 。
Hadoop 框架支持 在 MR 结束时,只需要简单的获取框架的计数器信息并将结果写入到任意地方。 包括日志、本地文件系统、HDFS 等。 Hadoop 框架中内置了一些计数器的支持。 例如输入、输出的记录数和字节数。 Hadoop 支持开发者根据自己的需要创建自定义计数器。
适用场景:
在一个大数据集上收集技术或汇总。
需要创建的计数器数目很小——两位数字以内。
结构: 简单的讲:TaskTracker 聚合并增量汇报给 JobTracker 。 JobTracker 完成整体聚合。 所有的工作只需要在 map 过程中完成。 不需要 combiner、partitioner 或 reduce 过程。
来自为知笔记(Wiz)
先讲一下,就是说只用 Map 阶段 不需要 Reduce 。 也就是说去掉了中间输出,而是Map 直接输出结果。大大提高了 MR 的效率且节省了 MR 中间输出读入的 IO 。
Hadoop 框架支持 在 MR 结束时,只需要简单的获取框架的计数器信息并将结果写入到任意地方。 包括日志、本地文件系统、HDFS 等。 Hadoop 框架中内置了一些计数器的支持。 例如输入、输出的记录数和字节数。 Hadoop 支持开发者根据自己的需要创建自定义计数器。
适用场景:
在一个大数据集上收集技术或汇总。
需要创建的计数器数目很小——两位数字以内。
结构: 简单的讲:TaskTracker 聚合并增量汇报给 JobTracker 。 JobTracker 完成整体聚合。 所有的工作只需要在 map 过程中完成。 不需要 combiner、partitioner 或 reduce 过程。
来自为知笔记(Wiz)
相关文章推荐
- nil、Nil、NULL和NSNull的理解
- Android Toolbar使用系统原生返回键,并改变其颜色,自定义图片替换系统原生返回键
- Java 通过ReflectionFactory 创建序列化的实例(原创)
- HttpClient学习整理
- 排序的几种写法
- Unity3d 官方角色换装Demo源代码学习
- 使用dom4j和XPath解析XML之例子一
- URAL 1297 Palindrome(后缀数组)
- js template模版引擎 为什么要用
- ios 支付宝:移动支付1
- Pull解析Xml
- maven多项目配置
- 职业规划2
- ViewGroup之android:animateLayoutChanges属性
- 希望zf 严厉整一下百度,不能只是收钱就给谁都做广告
- eclipse 启动后,闪退
- Javascript模块化编程(二):AMD规范
- MATLAB的iptcheckinput函数详解!
- [Android] 自定义控件详解
- SELinux 环境下网络服务设置 , 配置 Apache 、Samba、NFS、vsftp 、MySQL、Bind DNS