hive优化
2015-12-01 19:05
225 查看
1、set hive.auto.convert.join=true
设置此参数可以在最大表通过mapper的时候将小表完全放入内存中，从而省略掉常规reduce过程，有时可以减少map过程步骤,启动时执行优化放入 $HOME/.hiverc文件中
用户可以配置小表大小（字节）
hive.mapjoin.smalltable.filesize=25000000
hive对于右外连接和全外链接不支持这个优化
2、set mapred.reduce.tasks=300
限制reduce个数为300，等于-1取消限制，限制reduce的个数可以减少内存的使用，防止内存溢出
设置此参数可以在最大表通过mapper的时候将小表完全放入内存中，从而省略掉常规reduce过程，有时可以减少map过程步骤,启动时执行优化放入 $HOME/.hiverc文件中
用户可以配置小表大小（字节）
hive.mapjoin.smalltable.filesize=25000000
hive对于右外连接和全外链接不支持这个优化
2、set mapred.reduce.tasks=300
限制reduce个数为300，等于-1取消限制，限制reduce的个数可以减少内存的使用，防止内存溢出
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- jquery bind()方法与live()方法的区别
- number.ToString("p") and culture
- xgboost在windows下的安装
- win7 64 汇编开发环境搭建
- 546B. Soldier and Badges
- Java学习笔记
- C++:STL标准入门汇总
- 实现联通光猫自动拨号功能
- git fatal: Out of memory, malloc failed
- MongoDB分片
- iOS_ 用户引导界面代码
- 安卓非绑定方式的service生命周期测试
- 蓝桥杯OJ刷题日记——08-基础练习 回文数
- jqueryui-example-autocomplete实现自动填充效果
- android使用volley框架访问https
- Linux之grub.conf的内容介绍
- 面向对象编程(下)
- shell脚本学习（二）
- 344A. Candy Bags
- LeetCode---Group Anagrams