hive 影响reduce 个数的参数
2013-10-24 15:13
141 查看
[root@hadoop ~]# hive -e "set" | grep reduce
Logging initialized using configuration in jar:file:/usr/hadoop/hive-0.11.0/lib/hive-common-0.11.0.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_27306@hadoop_201310240233_1629855652.txt
hive.exec.reducers.bytes.per.reducer=1000000000
hive.exec.reducers.max=999
hive.mapred.reduce.tasks.speculative.execution=true
hive.multigroupby.singlereducer=true
hive.optimize.mapjoin.mapreduce=false
hive.optimize.reducededuplication=true
hive.optimize.reducededuplication.min.reducer=4
mapred.reduce.tasks=-1
可以手动设置以上几个参数
Logging initialized using configuration in jar:file:/usr/hadoop/hive-0.11.0/lib/hive-common-0.11.0.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_27306@hadoop_201310240233_1629855652.txt
hive.exec.reducers.bytes.per.reducer=1000000000
hive.exec.reducers.max=999
hive.mapred.reduce.tasks.speculative.execution=true
hive.multigroupby.singlereducer=true
hive.optimize.mapjoin.mapreduce=false
hive.optimize.reducededuplication=true
hive.optimize.reducededuplication.min.reducer=4
mapred.reduce.tasks=-1
可以手动设置以上几个参数
相关文章推荐
- map/reduce的原理| hive 用户手册| hive SERDE | map参数调整 | UDF
- hive参数调优汇总
- 成为Java GC专家系列(四)——Apache的MaxClients参数对系统的影响
- 浅谈sql_log_off参数对审计的影响
- Hive调优(语法与参数层面优化)
- Reduce对Pig作业性能的影响
- Websphere Application Server JVM通用参数对文本文件汉字编码的影响
- 影响MySQL性能的 5大配置参数
- hive估算reduce
- 结合内核源码来看如何调整影响TIME_WAIT状态套接字数量的参数
- 视频系统中视频参数的视觉影响: 色度至亮度延迟的影响
- PHP编译参数 --prefix=/usr/local/php 的“深远”影响
- hive命令参数
- hive-site.xml参数
- js传参数受特殊字符影响错误的解决方法
- ASP中函数调用对参数的影响
- hive参数——深入浅出学Hive
- hive 配置参数说明大全
- 函数参数按引用传递和按值传递对动态联编的影响
- Python+Hadoop Streaming实现MapReduce(如何给map和reduce的脚本传递参数)