您的位置:首页 > 其它

hive参数

2016-04-20 00:00 253 查看
MAPREDUCE:

mapred.job.queue.name 队列名称

内存相关:

mapreduce.reduce.memory.mb 每个Reduce Task需要的内存量(默认1024)

mapreduce.map.memory.mb 每个Map Task需要的内存量(默认1024)

JVM:

mapred.child.java.opts 同时设置map和reduce的jvm参数

mapred.map.child.java.opts 分开设置map的jvm参数,包括GC策略

mapred.reduce.child.java.opts 分开设置reduce的jvm参数

mapreduce.map.java.opts 分开设置map的jvm参数,包括GC策略

mapreduce.reduce.java.opts 分开设置reduce的jvm参数

压缩:

mapred.output.compress 最后一个map/reduce的输出是否压缩

mapred.output.compression.codec 输出数据的压缩方式

mapred.output.compression.type 压缩类型

HIVE:

压缩

hive.exec.compress.output 查询中最后一个map/reduce的输出是否压缩

hive.exec.compress.intermediate 查询的中间map/reduce的输出是否压缩

hive.auto.convert.join 如果表足够小(默认小于25M)则载入内存在map阶段执行join,即MapJoin

hive.ignore.mapjoin.hint 忽略MAPJOIN写法,而是自动检查是否转换

动态分区:

hive.exec.dynamic.partition 查询结果是否动态分区

hive.exec.dynamic.partition.mode strict该模式下必须指定一个静态分区,nostrict该模式下不必指定静态分区,没有限制

hive.exec.max.dynamic.partitions.pernode 在每一个mapper/reducer节点允许创建的最大分区数

hive.exec.max.dynamic.partitions 允许创建的最大分区数
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: