MR-5.MapReduce分布式缓存（Distribute Cache）
2016-01-26 19:27
169 查看
DistributeCache是Hadoop的分布式文件缓存类，是一个提供给Map/Reduce框架的工具，用来缓存文件（文件，归档，jars等），DistributeCache将拷贝缓存的文件到slaves节点在任何job在节点上执行之前，每个存储在HDFS中的文件被放到缓存后都可以通过一个符号链接使用。
通过该类主要可以完成两方面的事情
（1） 完成分布式文件共享
（2） MR的Join操作，将小表放入cache中，可提高效率
通过该类主要可以完成两方面的事情
（1） 完成分布式文件共享
（2） MR的Join操作，将小表放入cache中，可提高效率
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- windows DOS环境下看星球大战
- Weblogic注册为Windows的系统服务项+删除服务项
- MR-5.MapReduce计数器介绍
- uva 11462 - Age Sort
- pytest相关问题解析
- java线程安全之死锁问题
- ehcache+spring配置
- Excel中的四舍六入五成双
- 关于Bitcode的探索
- 分类器组合方法
- 贴段脚本...Linux命令批量执行，免密码登录配置
- Socket通信之一次通路多次会话问题
- hdu2795
- [Java - 调用WebService]{http://schemas.microsoft.com/ws/2005/05/addressing/none}ActionNotSupported
- JPA学习笔记（2）之相关接口/类
- Android中关于键盘的处理
- HUST 1027 Enemy Target! 最小点覆盖集
- 微服务构建大应用
- MR-4.MapReduce使用压缩
- poj-1094 Sorting It All Out