您的位置:首页 > 其它

hive 影响reduce 个数的参数

2013-10-24 15:13 141 查看
[root@hadoop ~]# hive -e "set" | grep reduce

Logging initialized using configuration in jar:file:/usr/hadoop/hive-0.11.0/lib/hive-common-0.11.0.jar!/hive-log4j.properties

Hive history file=/tmp/root/hive_job_log_root_27306@hadoop_201310240233_1629855652.txt

hive.exec.reducers.bytes.per.reducer=1000000000

hive.exec.reducers.max=999

hive.mapred.reduce.tasks.speculative.execution=true

hive.multigroupby.singlereducer=true

hive.optimize.mapjoin.mapreduce=false

hive.optimize.reducededuplication=true

hive.optimize.reducededuplication.min.reducer=4

mapred.reduce.tasks=-1

可以手动设置以上几个参数
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: